CN113940642A - 动作捕捉方法、系统、终端设备及存储介质 - Google Patents
动作捕捉方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113940642A CN113940642A CN202110581721.6A CN202110581721A CN113940642A CN 113940642 A CN113940642 A CN 113940642A CN 202110581721 A CN202110581721 A CN 202110581721A CN 113940642 A CN113940642 A CN 113940642A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- motion
- signal
- action
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 133
- 230000035790 physiological processes and functions Effects 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 210000004369 blood Anatomy 0.000 claims description 57
- 239000008280 blood Substances 0.000 claims description 57
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 55
- 239000001301 oxygen Substances 0.000 claims description 55
- 229910052760 oxygen Inorganic materials 0.000 claims description 55
- 230000000007 visual effect Effects 0.000 claims description 33
- 230000036772 blood pressure Effects 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000035487 diastolic blood pressure Effects 0.000 claims description 5
- 230000035488 systolic blood pressure Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009532 heart rate measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000010349 pulsation Effects 0.000 description 3
- 108010003320 Carboxyhemoglobin Proteins 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010061951 Methemoglobin Proteins 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004882 diastolic arterial blood pressure Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004873 systolic arterial blood pressure Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Cardiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种动作捕捉方法、系统、终端设备及存储介质，该方法包括：对用户进行动作采集，得到动作采集信号；对动作采集信号进行特征提取，得到动作特征，动作特征包括人体骨架位置特征、动作力度特征和生理状态特征；将人体骨架位置特征、动作力度特征和生理状态特征进行特征融合，得到动作捕捉结果。本发明通过对动作采集信号进行特征提取，能有效地提取到用户动作的人体骨架位置特征、动作力度特征和生理状态特征，通过将人体骨架位置特征、动作力度特征和生理状态特征进行特征融合得到动作捕捉结果，基于动作捕捉结果能有效地呈现用户的人体骨架位置、动作力度和生理状态，提高了人体运动状态呈现的全面性，增强了动作信息的多源性。
Description
技术领域
本发明属于智能健身领域，尤其涉及一种动作捕捉方法、系统、终端设备及存储介质。
背景技术
随着人工智能、传感器和虚拟现实/增强现实等技术的兴起，智能健身软硬件设备不断涌现，智能健身应用逐渐受到普通消费者的青睐。智能健身应用将健身这项运动从健身房场景转向家庭场景，用传感器技术和人工智能技术取代健身教练的部分作用，使健身向去中心化、智能化和互联网化演变。
如何对用户运动时的动作进行捕捉，得到动作信息，对于智能健身应用非常重要。当前大部分智能健身应用以人体动作姿态，作为描述用户动作信息的主要方式。
现有的人体动作姿态是基于颜色图像的方法进行获取，仅描述了人体动作的空间位置，导致捕捉到的动作信息少。
发明内容
本发明实施例的目的在于提供一种动作捕捉方法、系统、终端设备及存储介质，旨在解决现有的动作捕捉过程中，捕捉到的动作信息少的问题。
本发明实施例是这样实现的，一种动作捕捉方法，所述方法包括：
对用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号、力触觉信号和生理信号；
对所述动作采集信号进行特征提取，得到动作特征，所述动作特征包括人体骨架位置特征、动作力度特征和生理状态特征；
将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果。
更进一步的，所述对所述动作采集信号进行特征提取，得到动作特征，包括：
将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
更进一步的，所述对用户进行动作采集，得到动作采集信号，包括：
对所述用户的动作进行图像拍摄，得到所述视觉图像信号，并获取所述用户的动作的拉力信息，得到所述力触觉信号；
对所述用户发射心率采集光束，并接收所述用户对所述心率采集光束的心率反射信号；
对所述用户发射血氧采集光束，并接收所述用户对所述血氧采集光束的血氧反射信号；
根据预设压力对所述用户上的血压采集点进行加压，并接收所述血压采集点对所述预设压力的血压反馈信号；
对所述用户的动作进行空间数据采集，得到陀螺仪信号；
所述生理信号包括所述心率反射信号、所述血氧反射信号、所述血压反馈信号和所述陀螺仪信号。
更进一步的，所述对所述动作采集信号进行特征提取，得到动作特征，包括：
分别对所述心率反射信号和所述血氧反射信号进行信号转换，得到心率电信号和血氧电信号；
分别对所述心率电信号和所述血氧电信号进行信号放大，并对信号放大后的所述心率电信号和所述血氧电信号对应进行心率分析和血氧分析，得到心率特征和血氧特征；
根据所述血压反馈信号生成压力振动波，并根据所述压力振动波中的峰值点确定收缩压特征、平均压特征和舒张压特征；
对所述陀螺仪信号进行过零检测，得到过零点信息，并根据所述过零点信息确定所述用户的步频特征。
更进一步的，所述根据所述过零点信息确定所述用户的步频特征，包括：
若所述过零点信息中，相邻的两个过零点之间的时间间隔小于预设时间，则将所述相邻的两个过零点设置为有效健身步；
确定所述过零点信息中所述有效健身步的总步数，并根据所述总步数和所述用户的动作时长确定所述步频特征。
更进一步的，所述对所述陀螺仪信号进行过零检测之前，还包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并对所述陀螺仪信号进行低通滤波。
更进一步的，所述将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
本发明实施例的另一目的在于提供一种动作捕捉系统，所述系统包括：
动作采集模块，用于对用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号、力触觉信号和生理信号；
特征提取模块，用于对所述动作采集信号进行特征提取，得到动作特征，所述动作特征包括人体骨架位置特征、动作力度特征和生理状态特征；
特征融合模块，用于将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果。
本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例，通过对用户进行动作采集，能有效地采集到用户动作的视觉图像信号、力触觉信号和生理信号，通过对动作采集信号进行特征提取，能有效地提取到用户动作的人体骨架位置特征、动作力度特征和生理状态特征，通过将人体骨架位置特征、动作力度特征和生理状态特征进行特征融合得到动作捕捉结果，基于动作捕捉结果能有效地呈现用户的人体骨架位置、动作力度和生理状态，提高了人体运动状态呈现的全面性，增强了动作信息的多源性。
附图说明
图1是本发明第一实施例提供的动作捕捉方法的流程图；
图2是本发明第一实施例提供的力触觉传感器的电路结构示意图；
图3是本发明第二实施例提供的动作捕捉方法的流程图；
图4是本发明第三实施例提供的动作捕捉系统的结构示意图；
图5和图6是本发明第三实施例提供的动作捕捉系统的结构框架图；
图7是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的动作捕捉方法的流程图，该动作捕捉方法可以应用与任一智能健身终端设备，该智能健身终端设备包括智能健身镜、手机、平板或可穿戴智能健身设备等，该动作捕捉方法包括步骤：
步骤S10，对用户进行动作采集，得到动作采集信号；
其中，该动作采集信号包括视觉图像信号、力触觉信号和生理信号，该视觉图像信号的采集可以以智能健身终端设备上的视觉图像传感器来实现，该视觉图像传感器可以为任一具有图像采集功能的装置，待感知用户站立在智能健身终端设备前方的位置做各种健身动作，智能健身终端设备上的摄像头，可实时采集待感知用户健身时的图像序列，得到该视觉图像信号。
可选的，该步骤中，力触觉信号的采集可以以智能健身终端设备上的左右手拉力臂来实现，该左右手拉力臂内需安装力触觉传感器，力触觉传感器以电阻应变片为基础元件，待感知用户施加不同强度的拉力导致电阻应变片内的金属丝产生不同程度的拉伸或扭曲，从而改变电阻值。请参阅图2，电阻应变片用导线接到外部电路上可测定输出电压，得出电阻值的变化。在不加力的状态下，电桥上的四个电阻是同样的电阻值R。假若应变片被拉伸，电阻应变片的电阻增加ΔR，电路上各部分的电流和电压如图2所示，电阻之间存在下关系：
V＝(2R+ΔR)I1＝2RI2,V1＝(R+ΔR)I1,V2＝RI2
计算可得：
因此，电阻值的变化为：
可选的，该步骤中，所述对用户进行动作采集，得到动作采集信号，包括：
对所述用户的动作进行图像拍摄，得到所述视觉图像信号，并获取所述用户的动作的拉力信息，得到所述力触觉信号；
对所述用户发射心率采集光束，并接收所述用户对所述心率采集光束的心率反射信号；
对所述用户发射血氧采集光束，并接收所述用户对所述血氧采集光束的血氧反射信号；
根据预设压力对所述用户上的血压采集点进行加压，并接收所述血压采集点对所述预设压力的血压反馈信号；
对所述用户的动作进行空间数据采集，得到陀螺仪信号；
其中，生理信号包括心率反射信号、血氧反射信号、血压反馈信号和陀螺仪信号，该步骤中，可以采用LED灯及感光元件进行该心率采集光束和血氧采集光束的发射，LED灯及感光元件用于测量用户的心率及血氧，由两个在皮肤接触位置设置的红色发光二极管和受光窗组成。LED灯可根据控制信号发射出不同波长的光线，当用户的皮肤表面的血流量随心脏跳动而改变时，LED灯的红光信号通过皮肤表面到达感光元件的光线大小也随之改变，使得光电流也发生波动性变化，将代表用户心率、血氧状态的光强度信号转换为电信号。
该步骤中，可以采用气囊及压力传感器进行对用户的加压，本实施例中，在智能运动手环内侧设置一个凹槽，凹槽内沿着智能运动手环的延伸方向形成一闭合圆周，凹槽中设置适应其形状的气囊，气囊与气泵、压力传感器相连，从而形成血压采集装置。气泵可以根据控制指令对气囊进行充放气，压力传感器可以测量气囊内压力大小，得到测量结果。
进一步地，该步骤中，可以采用陀螺仪对用户的动作进行空间数据采集，陀螺仪负责采集用户健身时的空间移动及震动。当用户进行跑步、快走等运动时，手臂会带动智能运动手环随着运动而来回摆动。高速旋转物体的旋转轴，对于改变其方向的外力作用有趋于垂直的倾向。而旋转物体在横向倾斜时，重力会向增加倾斜的方向作用，轴则向垂直方向运动，就产生了岁差运动。当陀螺经纬仪的陀螺旋转轴以水平轴旋转时，由于地球的旋转而受到铅直方向旋转力，陀螺的旋转体向水平面内的子午线方向产生岁差运动。陀螺仪的主要功用就是将震动和移动的次数记录下来，得到陀螺仪信号。
步骤S20，对所述动作采集信号进行特征提取，得到动作特征；
其中，动作特征包括人体骨架位置特征、动作力度特征和生理状态特征，该步骤中，通过对动作采集信号进行特征提取，能有效地提取到用户动作的人体骨架位置特征、动作力度特征和生理状态特征。
可选的，该步骤中，该步骤中，所述对所述动作采集信号进行特征提取，得到动作特征，包括：
分别对所述心率反射信号和所述血氧反射信号进行信号转换，得到心率电信号和血氧电信号；
分别对所述心率电信号和所述血氧电信号进行信号放大，并对信号放大后的所述心率电信号和所述血氧电信号对应进行心率分析和血氧分析，得到心率特征和血氧特征；
其中，光电心率测量采用的是光电容积法，其是利用人体组织在血管搏动时造成透光率不同来进行脉搏测量。当需要对健身用户进行心率测量时，智能手环内在皮肤接触一侧设置的LED灯，将发射心率采集光束对动脉血中氧和血红蛋白有选择性的特定波长(500nm-700nm)红光。当心率采集光束透过健身用户外周血管，由于动脉搏动充血容积变化导致心率采集光束的透光率会发生改变，此时由感光元器件接收到的经人体组织反射的光线强度也会发生变化。这种变化经由光电转化器转变为电信号，通过信号放大电路将心率电信号进行信号放大，并对信号放大后的心率电信号进行心率分析，得到心率特征。
血氧测量方式与心率测量方式相似，其基本原理是不同的血红蛋白衍生物对于光线有不同的吸收特性，特别是氧合血红蛋白(O2Hb)、去氧血红蛋白(HHb)、碳氧血红蛋白(COHb)、正铁血红蛋白(MetHb)。两个LED灯输出固定波长的血氧采集光束，感光元件对经过皮肤、组织、血液漫反射回的血氧反射信号进行采集，将代表血氧饱和度值的光强度转换为血氧电信号，对血氧电信号进行信号放大，并对信号放大后的血氧电信号进行血氧分析，得到血氧特征。
根据所述血压反馈信号生成压力振动波，并根据所述压力振动波中的峰值点确定收缩压特征、平均压特征和舒张压特征；
其中，当需要对健身用户进行血压测量时，气泵对气囊进行充气，由于气囊是沿着智能运动手环形成一个闭合的圆周，气囊变大挤压用户的手腕至完全压迫动脉血管并阻断动脉血流，然后随着气囊内压力减小，动脉血管将出现：完全阻闭-渐开-全放开的变化过程。在全过程中，动脉血管壁的搏动将在气囊内部的气体中产生气体振荡，这种振荡与动脉收缩压、舒张压和平均压存在确定的对应关系。通过压力传感器测量、记录和分析放气过程中气囊内的压力振动波即可获得出此时被测量的人的收缩压、平均压和舒张压。
对所述陀螺仪信号进行过零检测，得到过零点信息，并根据所述过零点信息确定所述用户的步频特征。
进一步地，该步骤中，所述根据所述过零点信息确定所述用户的步频特征，包括：
若所述过零点信息中，相邻的两个过零点之间的时间间隔小于预设时间，则将所述相邻的两个过零点设置为有效健身步；
确定所述过零点信息中所述有效健身步的总步数，并根据所述总步数和所述用户的动作时长确定所述步频特征；
其中，通过过零检测器识别行走的每一步，2个最接近的过零点可以检测为一步有效健身步，避免使用峰值检测法时，因图形波动而引入的误差。结合用户健身时间长度，可以计算出用户步频，即该步频特征，具体的，通过计算总步数与动作时长之间的商值，得到该步频特征，步频特征只在用户进行跑步、快走等运动时有效，当用户进行原地力量训练时，步频特征为0。
更进一步地，该步骤中，所述对所述陀螺仪信号进行过零检测之前，还包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并对所述陀螺仪信号进行低通滤波；
其中，通过过对人体骨架位置特征和动作力度特征进行双边滤波，可去除体骨架位置特征和动作力度特征的噪声和异常，提高时序上的稳定性和鲁棒性，对于陀螺仪信号，可以采用六阶巴特沃斯低通滤波器来进行降噪滤波，有效地降低了陀螺仪信号中的噪声，提高了陀螺仪信号的准确性。
该步骤中，所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均。
步骤S30，将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果；
其中，该动作捕捉结果可以为多模态动作数据，该多模态动作数据包括不同时刻对应的多模态动作向量。
可选的，该步骤中，可以将多模态动作数据被封装为统一的函数接口，供目标应用应用程序调用，目标应用程序可根据需求，选择性使用全部或者部分多模态动作数据，多模态动作数据可用于健身虚拟形象展示、动作质量评估和健身内容推荐等任务中。
可选的，该步骤中，所述将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率，其中，同步配准用于将人体骨架位置特征和动作力度特征调节至同一帧率，视觉图像传感器和力触觉传感器在采集数据时有不同的频率/帧率，因此，提取到的人体骨架位置特征和动作力度特征有着不同的帧率。为了保证人体骨架位置特征和动作力度特征在时序上相互对应，需对人体骨架位置特征和动作力度特征做同步配准。配准方式可采用高帧率信息降采样的方式，使得较高帧率的体骨架位置特征和动作力度特征的帧率降低，最终使得体骨架位置特征和动作力度特征拥有相同的帧率，以实现时序上的同步。
本实施例，通过对用户进行动作采集，能有效地采集到用户动作的视觉图像信号、力触觉信号和生理信号，通过对动作采集信号进行特征提取，能有效地提取到用户动作的人体骨架位置特征、动作力度特征和生理状态特征，通过将人体骨架位置特征、动作力度特征和生理状态特征进行特征融合得到动作捕捉结果，基于动作捕捉结果能有效地呈现用户的人体骨架位置、动作力度和生理状态，提高了人体运动状态呈现的全面性，增强了动作信息的多源性。
实施例二
请参阅图3，是本发明第二实施例提供的动作捕捉方法的流程图，该实施例用于对步骤S10作进一步细化，包括步骤：
步骤S11，将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
其中，该预设卷积网络可以根据需求进行设置，例如，该预设卷积网络可以设置为VGG(Visual Geometry Group)网络,通过将视觉图像信号输入预设卷积网络进行特征提取，以提取该视觉图像信号中待捕捉用户对应的图像特征。
可选的，该步骤中定义了18个人体关键点，分别是分别为鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳，通过将图像特征输入预训练后的整体姿势估计网络进行姿势分析，以得到待捕捉用户上不同人体关键点的坐标。
步骤S12，将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
其中，将人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，能有效地得到不同人体关键点对应的关键点置信度，并根据关键点置信度计算不同人体关键点之间的亲和度向量。
步骤S13，根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
其中，通过根据所述亲和度向量对人体关键点进行聚类处理，以确定人体关键点中的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳对应的关键点，并将确定到的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳进行组装，得到该人体骨架位置特征，该人体骨架位置特征可以为人体骨骼图像。
步骤S14，根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征；
其中，针对单帧的力触觉信号，将力触觉信号传感器采集的待捕捉用户使用机械拉力臂时的电阻变化信息转化为力度信息。已知力和电阻值的变化关系，就可以对两者进行转化，通过函数映射Φ将电阻值变化ΔR转化为动作力度值F，可以归纳为以下公式
F＝Φ(ΔR)。
本实施例中，通过将视觉图像信号输入预设卷积网络进行特征提取，以提取该视觉图像信号中待捕捉用户对应的图像特征，通过将人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，能有效地得到不同人体关键点对应的关键点置信度，通过根据所述亲和度向量对人体关键点进行聚类处理，以确定人体关键点中的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳对应的关键点，并将确定到的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳进行组装，得到该人体骨架位置特征。
实施例三
请参阅图4，是本发明第三实施例提供的动作捕捉系统100的结构示意图，包括：动作采集模块10、特征提取模块11和特征融合模块12，其中：
动作采集模块10，用于对用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号、力触觉信号和生理信号。
其中，该动作采集模块10还用于：对所述用户的动作进行图像拍摄，得到所述视觉图像信号，并获取所述用户的动作的拉力信息，得到所述力触觉信号；
对所述用户发射心率采集光束，并接收所述用户对所述心率采集光束的心率反射信号；
对所述用户发射血氧采集光束，并接收所述用户对所述血氧采集光束的血氧反射信号；
根据预设压力对所述用户上的血压采集点进行加压，并接收所述血压采集点对所述预设压力的血压反馈信号；
对所述用户的动作进行空间数据采集，得到陀螺仪信号；
所述生理信号包括所述心率反射信号、所述血氧反射信号、所述血压反馈信号和所述陀螺仪信号。
特征提取模块11，用于对所述动作采集信号进行特征提取，得到动作特征，所述动作特征包括人体骨架位置特征、动作力度特征和生理状态特征。
其中，该特征提取模块11还用于：将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
进一步地，该特征提取模块11还用于：分别对所述心率反射信号和所述血氧反射信号进行信号转换，得到心率电信号和血氧电信号；
分别对所述心率电信号和所述血氧电信号进行信号放大，并对信号放大后的所述心率电信号和所述血氧电信号对应进行心率分析和血氧分析，得到心率特征和血氧特征；
根据所述血压反馈信号生成压力振动波，并根据所述压力振动波中的峰值点确定收缩压特征、平均压特征和舒张压特征；
对所述陀螺仪信号进行过零检测，得到过零点信息，并根据所述过零点信息确定所述用户的步频特征。
更进一步地，该特征提取模块11还用于：若所述过零点信息中，相邻的两个过零点之间的时间间隔小于预设时间，则将所述相邻的两个过零点设置为有效健身步；
确定所述过零点信息中所述有效健身步的总步数，并根据所述总步数和所述用户的动作时长确定所述步频特征。
优选的，该特征提取模块11还用于：分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并对所述陀螺仪信号进行低通滤波。
本实施例中，该特征提取模块11还用于：对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
特征融合模块12，用于将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果。
请参阅图5至图6，该动作捕捉系统100的框架包括物理设备层、特征提取层和应用接口层，该物理设备层用于采集智能健身终端用户的各项交互信息，包括视觉图像信号的采集、力触觉信号的采集和生理信号的采集，该物理设备层包括视觉图像传感器、力触觉传感器和生理状态传感器，视觉图像传感器采集用户健身时的视觉图像，形成图像序列。在智能健身终端上，视觉图像传感器通常位于该设备的摄像头中。用户需站在摄像头可视范围内，完成各项健身动作，力触觉信号的采集通常以智能健身终端设备上的左右手拉力臂来实现，力触觉传感器位于拉力臂内。力触觉传感器以电阻应变片为基础元件。电阻应变片利用了金属丝拉伸时电阻变大的现象，用户拉动拉力臂时不同的拉力将导致电阻应变片发生不同程度的形变，进而产生不同的电阻。用户拉动拉力臂时，力触觉信号将以电阻变化的形式被记录下来。生理状态传感器采集用户健身时的生理状态信息，并传输至智能健身终端。
生理状态传感器通常以智能运动手环为载体，由LED灯及感光元件、气囊及压力传感器、陀螺记步仪、控制中心、蓝牙通讯模块5个部分组成，如图6所示。用户健身时需要将该智能运动手环佩戴于腕部，采集到的生理状态数据通过蓝牙通讯模块传输到智能健身终端。
本实施例中，LED灯及感光元件用于测量健身用户心率及血氧，由两个在皮肤接触位置设置的红色发光二极管和受光窗组成。LED灯可根据控制信号发射出不同波长的光线，当皮肤表面的血流量随心脏跳动而改变时，LED灯的红光信号通过皮肤表面到达感光元件的光线大小也随之改变，这样光电流也发生波动性变化，将代表健身用户心率、血氧状态的光强度信号转换为电信号。
气囊及压力传感器负责采集健身用户血压，在智能运动手环内侧设置一个凹槽，凹槽内沿着智能运动手环的延伸方向形成一闭合圆周，凹槽中设置适应其形状的气囊。所述气囊与气泵、压力传感器相连，从而形成血压采集装置。气泵可以根据控制中心指令对气囊进行充放气，压力传感器可以测量气囊内压力大小，并将测量结果传输至控制中心。
陀螺仪负责采集用户健身时的空间移动及震动。当用户进行跑步、快走等运动时，手臂会带动智能运动手环随着运动而来回摆动。高速旋转物体的旋转轴，对于改变其方向的外力作用有趋于垂直的倾向。而旋转物体在横向倾斜时，重力会向增加倾斜的方向作用，轴则向垂直方向运动，就产生了岁差运动。当陀螺经纬仪的陀螺旋转轴以水平轴旋转时，由于地球的旋转而受到铅直方向旋转力，陀螺的旋转体向水平面内的子午线方向产生岁差运动。陀螺仪的主要功用就是将震动和移动的次数记录下来，传输给控制中心。
控制中心负责处理智能健身终端传来的交互指令、依据指令控制智能手环各元器件工作、存储并处理各元器件采集得到的生理数据。控制中心采用的是基于开放源代码的USB接口板Arduino单片机，并且具有使用类似Java、C语言的IDE集成开发环境。
蓝牙通讯模块用于将控制中心采集得到的数据传输到智能健身终端，以及将智能健身终端发出的控制信号传输到智能运动手环的控制中心。智能运动手环和智能健身终端之间的通信采用蓝牙连接的方式，蓝牙模块为蓝牙4.0(BLE)通信模块。
本实施例，通过对用户进行动作采集，能有效地采集到用户动作的视觉图像信号、力触觉信号和生理信号，通过对动作采集信号进行特征提取，能有效地提取到用户动作的人体骨架位置特征、动作力度特征和生理状态特征，通过将人体骨架位置特征、动作力度特征和生理状态特征进行特征融合得到动作捕捉结果，基于动作捕捉结果能有效地呈现用户的人体骨架位置、动作力度和生理状态，提高了人体运动状态呈现的全面性，增强了动作信息的多源性。
实施例四
图7是本申请第四实施例提供的一种终端设备2的结构框图。如图7所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如动作捕捉方法的程序。处理器20执行所述计算机程序23时实现上述各个动作捕捉方法各实施例中的步骤，例如图1所示的S10至S30，或者图3所示的S11至S14。或者，所述处理器20执行所述计算机程序22时实现上述图4对应的实施例中各单元的功能，例如，图4所示的单元10至12的功能，具体请参阅图4对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成动作采集模块10、特征提取模块11和特征融合模块12，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图7仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种动作捕捉方法，其特征在于，所述方法包括：
对用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号、力触觉信号和生理信号；
对所述动作采集信号进行特征提取，得到动作特征，所述动作特征包括人体骨架位置特征、动作力度特征和生理状态特征；
将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果。
2.如权利要求1所述的动作捕捉方法，其特征在于，所述对所述动作采集信号进行特征提取，得到动作特征，包括：
将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
3.如权利要求1所述的动作捕捉方法，其特征在于，所述对用户进行动作采集，得到动作采集信号，包括：
对所述用户的动作进行图像拍摄，得到所述视觉图像信号，并获取所述用户的动作的拉力信息，得到所述力触觉信号；
对所述用户发射心率采集光束，并接收所述用户对所述心率采集光束的心率反射信号；
对所述用户发射血氧采集光束，并接收所述用户对所述血氧采集光束的血氧反射信号；
根据预设压力对所述用户上的血压采集点进行加压，并接收所述血压采集点对所述预设压力的血压反馈信号；
对所述用户的动作进行空间数据采集，得到陀螺仪信号；
所述生理信号包括所述心率反射信号、所述血氧反射信号、所述血压反馈信号和所述陀螺仪信号。
4.如权利要求3所述的动作捕捉方法，其特征在于，所述对所述动作采集信号进行特征提取，得到动作特征，包括：
分别对所述心率反射信号和所述血氧反射信号进行信号转换，得到心率电信号和血氧电信号；
分别对所述心率电信号和所述血氧电信号进行信号放大，并对信号放大后的所述心率电信号和所述血氧电信号对应进行心率分析和血氧分析，得到心率特征和血氧特征；
根据所述血压反馈信号生成压力振动波，并根据所述压力振动波中的峰值点确定收缩压特征、平均压特征和舒张压特征；
对所述陀螺仪信号进行过零检测，得到过零点信息，并根据所述过零点信息确定所述用户的步频特征。
5.如权利要求4所述的动作捕捉方法，其特征在于，所述根据所述过零点信息确定所述用户的步频特征，包括：
若所述过零点信息中，相邻的两个过零点之间的时间间隔小于预设时间，则将所述相邻的两个过零点设置为有效健身步；
确定所述过零点信息中所述有效健身步的总步数，并根据所述总步数和所述用户的动作时长确定所述步频特征。
6.如权利要求4所述的动作捕捉方法，其特征在于，所述对所述陀螺仪信号进行过零检测之前，还包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并对所述陀螺仪信号进行低通滤波。
7.如权利要求1所述的动作捕捉方法，其特征在于，所述将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
8.一种动作捕捉系统，其特征在于，所述系统包括：
动作采集模块，用于对用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号、力触觉信号和生理信号；
特征提取模块，用于对所述动作采集信号进行特征提取，得到动作特征，所述动作特征包括人体骨架位置特征、动作力度特征和生理状态特征；
特征融合模块，用于将所述人体骨架位置特征、所述动作力度特征和所述生理状态特征进行特征融合，得到动作捕捉结果。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110581721.6A CN113940642B (zh) | 2021-05-27 | 2021-05-27 | 动作捕捉方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110581721.6A CN113940642B (zh) | 2021-05-27 | 2021-05-27 | 动作捕捉方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113940642A true CN113940642A (zh) | 2022-01-18 |
| CN113940642B CN113940642B (zh) | 2023-08-29 |
Family
ID=79327372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110581721.6A Active CN113940642B (zh) | 2021-05-27 | 2021-05-27 | 动作捕捉方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113940642B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104706359A (zh) * | 2015-04-01 | 2015-06-17 | 深圳柔微传感科技有限公司 | 一种实现运动实时监测的方法和智能服装 |
| CN107754225A (zh) * | 2017-11-01 | 2018-03-06 | 河海大学常州校区 | 一种智能健身教练系统 |
| CN107803013A (zh) * | 2017-11-09 | 2018-03-16 | 重庆勤鸟圈科技有限公司 | 智能运动健康数据采集系统 |
| CN207264314U (zh) * | 2017-08-15 | 2018-04-20 | 惠州有空运动体育科技服务有限公司 | 一种基于可穿戴设备的运动比对系统 |
| CN108469268A (zh) * | 2018-03-15 | 2018-08-31 | 中国兵器工业集团第二四研究所苏州研发中心 | 一种基于微机械陀螺仪的计步方法 |
| CN109171734A (zh) * | 2018-10-18 | 2019-01-11 | 中国科学院重庆绿色智能技术研究院 | 基于多传感器数据融合的人体行为分析云管理系统 |
| CN110363140A (zh) * | 2019-07-15 | 2019-10-22 | 成都理工大学 | 一种基于红外图像的人体动作实时识别方法 |
| CN110464356A (zh) * | 2019-08-13 | 2019-11-19 | 马佳鑫 | 一种运动能力综合监测方法及系统 |
| US20200218365A1 (en) * | 2019-01-04 | 2020-07-09 | Red Pill Lab Limited | Method of Motion Capture |
| CN212729816U (zh) * | 2019-12-12 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种人体动作捕捉系统 |
-
2021
- 2021-05-27 CN CN202110581721.6A patent/CN113940642B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104706359A (zh) * | 2015-04-01 | 2015-06-17 | 深圳柔微传感科技有限公司 | 一种实现运动实时监测的方法和智能服装 |
| CN207264314U (zh) * | 2017-08-15 | 2018-04-20 | 惠州有空运动体育科技服务有限公司 | 一种基于可穿戴设备的运动比对系统 |
| CN107754225A (zh) * | 2017-11-01 | 2018-03-06 | 河海大学常州校区 | 一种智能健身教练系统 |
| CN107803013A (zh) * | 2017-11-09 | 2018-03-16 | 重庆勤鸟圈科技有限公司 | 智能运动健康数据采集系统 |
| CN108469268A (zh) * | 2018-03-15 | 2018-08-31 | 中国兵器工业集团第二四研究所苏州研发中心 | 一种基于微机械陀螺仪的计步方法 |
| CN109171734A (zh) * | 2018-10-18 | 2019-01-11 | 中国科学院重庆绿色智能技术研究院 | 基于多传感器数据融合的人体行为分析云管理系统 |
| US20200218365A1 (en) * | 2019-01-04 | 2020-07-09 | Red Pill Lab Limited | Method of Motion Capture |
| CN110363140A (zh) * | 2019-07-15 | 2019-10-22 | 成都理工大学 | 一种基于红外图像的人体动作实时识别方法 |
| CN110464356A (zh) * | 2019-08-13 | 2019-11-19 | 马佳鑫 | 一种运动能力综合监测方法及系统 |
| CN212729816U (zh) * | 2019-12-12 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 一种人体动作捕捉系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113940642B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10813559B2 (en) | Detecting respiratory tract infection based on changes in coughing sounds | |
| US10898755B2 (en) | Method for providing posture guide and apparatus thereof | |
| KR102200526B1 (ko) | 개방형 api 기반 의료 정보 제공 방법 및 시스템 | |
| AU2017386412B2 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
| Lamonaca et al. | Health parameters monitoring by smartphone for quality of life improvement | |
| US11103140B2 (en) | Monitoring blood sugar level with a comfortable head-mounted device | |
| CN108135487A (zh) | 用于获得对象的生命体征信息的设备、系统和方法 | |
| CN108289620A (zh) | 用于传感器位置引导的设备、系统和方法 | |
| KR101725357B1 (ko) | 휴대용 단말기를 사용하는 맥파 신호 측정 방법 | |
| CN109599165A (zh) | 康复运动训练方法、系统及可读存储介质 | |
| CN109906052A (zh) | 包括血压传感器的设备以及用于控制该设备的方法 | |
| KR102305591B1 (ko) | 생체정보 분석 방법 | |
| US20220183569A1 (en) | Blood Pressure Assessment Using Features Extracted Through Deep Learning | |
| Olson et al. | A survey of wearable sensor networks in health and entertainment | |
| WO2022141894A1 (zh) | 融合表情和肢体运动的三维特征情绪分析方法 | |
| CN116261749A (zh) | 识别用户动作的方法和系统 | |
| EP4021297A1 (en) | Systems and methods for wearable devices that determine balance indices | |
| CN106419887A (zh) | 一种心率检测方法及系统 | |
| CN113940642B (zh) | 动作捕捉方法、系统、终端设备及存储介质 | |
| JP2018187284A (ja) | 運動状態診断システムおよび運動状態診断プログラム | |
| CN110051361A (zh) | 一种穿戴式下肢骨骼运动检测装置 | |
| KR20220132812A (ko) | 의료 데이터를 이용하여 운동 프로그램을 제공하는 전자 장치 및 방법 | |
| US20240055099A1 (en) | Range of motion determination | |
| CN115153517B (zh) | 计时起立行走测试的测试方法、装置、设备及存储介质 | |
| WO2023022072A1 (ja) | 動画像判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Action capture methods, systems, terminal devices, and storage media Granted publication date: 20230829 Pledgee: Agricultural Bank of China Limited Xiamen Lianqian Branch Pledgor: Digital gravity (Xiamen) Sports Technology Co.,Ltd. Registration number: Y2024980006937 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |