CN113239848B - 动作感知方法、系统、终端设备及存储介质 - Google Patents
动作感知方法、系统、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113239848B CN113239848B CN202110581723.5A CN202110581723A CN113239848B CN 113239848 B CN113239848 B CN 113239848B CN 202110581723 A CN202110581723 A CN 202110581723A CN 113239848 B CN113239848 B CN 113239848B
- Authority
- CN
- China
- Prior art keywords
- motion
- features
- action
- moment
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 209
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 150
- 230000003068 static effect Effects 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000002146 bilateral effect Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种动作感知方法、系统、终端设备及存储介质，该方法包括：对待感知用户进行动作采集得到动作采集信号，对动作采集信号进行特征提取得到动作静态特征；对动作静态特征进行特征组合得到动作动态特征，根据动作动态特征确定待感知用户的关键点动作特征；将关键点动作特征、动作静态特征和动作动态特征进行特征融合得到动作感知结果。本发明通过将关键点动作特征、动作静态特征和动作动态特征进行特征融合，使得动作感知结果中，能有效地呈现静态状态和动态状态下，待感知用户上关键点对应的位置特征和动作力度特征，提高了人体运动状态呈现的全面性，增强了动作感知数据的多源性。
Description
技术领域
本发明属于智能健身领域，尤其涉及一种动作感知方法、系统、终端设备及存储介质。
背景技术
随着传感器技术、人工智能、云计算等技术的快速发展，人机交互朝着富感知、强交互和智能化等方向不断演化，催生了多款有较大影响力的虚拟现实和增强现实终端设备，并在教育、娱乐、文旅和医疗等领域成功部署和应用。
近几年来，智能健身应用受到越来越多关注。智能健身将传统的以健身房为中心的服务业态和模式，逐步转变为家庭式和碎片式的健身新模态。当前大部分智能健身应用，以从颜色图像或深度图像中估计出来的人体骨架位置作为主要的动作捕捉方式进行用户动作的感知。但由于人体骨架只描述了人体动作的空间位置，没有描述人体动作力度，无法全面地呈现人体的运动状态，进而降低了动作感知数据的全面性和多源性。
发明内容
本发明实施例的目的在于提供一种动作感知方法、系统、终端设备及存储介质，旨在解决现有的智能健身动作感知过程中，无法全面地呈现人体的运动状态的问题。
本发明实施例是这样实现的，一种动作感知方法，所述方法包括：
对待感知用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号和力触觉信号，并对所述动作采集信号进行特征提取，得到动作静态特征，所述动作静态特征包括人体骨架位置特征和动作力度特征；
对所述动作静态特征进行特征组合，得到动作动态特征，所述动作动态特征包括人体骨架特征序列和动作力度特征序列，并根据所述动作动态特征确定所述待感知用户的关键点动作特征；
将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果。
更进一步的，所述对所述动作采集信号进行特征提取，得到动作静态特征，包括：
将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
更进一步的，所述对所述动作静态特征进行特征组合，得到动作动态特征，包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并将双边滤波后的所述人体骨架位置特征和所述动作力度特征分别进行组合，得到所述人体骨架特征序列和所述动作力度特征序列。
更进一步的，所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
分别为方差为σs,σr的高斯函数，||t0-t||为t0时刻与t时刻之间的时间差异值，/>为t0时刻与t时刻之间人体骨架位置特征的差异值，时间窗口时长度为T，w1(t,t0)表示所述时间窗口内，t0时刻的人体骨架位置作用于t时刻的人体骨架位置特征的权重；
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
为t0时刻与t时刻之间动作力度特征的差异值，w2(t,t0)表示所述时间窗口内，t0时刻的动作力度特征作用于t时刻的动作力度特征的权重；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均。
更进一步的，所述根据所述动作动态特征确定所述待感知用户的关键点动作特征，包括：
根据所述动作动态特征，确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率。
更进一步的，所述确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率，所采用的公式为：
Sn＝sqrt((Xn,t-Xn,1)2+(Yn,t-Yn,1)2)
时序窗口时长为T，关键点n∈[0,17]在所述时序窗口的第一帧和最后一帧的位置分别为Pn,1(Xn,1,Yn,1)和Pn,t(Xn,t,Yn,t)，Sn是所述时间窗口内关键点n的移动距离；
Vn＝Sn/T
Vn是关键点n在所述时间窗口内的关键点运动速度；
an＝(Vm+1,n-Vm,n)/T
第m个所述时间窗口内，关键点n的平均运动速度为Vm,n，第m+1个时间窗口内，关键点n的平均运动速度为Vm+1,n，an是关键点n的关键点运动加速度；
ft＝T/k
k是所述待感知用户的发力次数，ft是t时刻的所述左右手动作频率。
更进一步的，所述对所述动作静态特征进行特征组合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
本发明实施例的另一目的在于提供一种动作感知系统，所述系统包括：
动作采集模块，用于对待感知用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号和力触觉信号，并对所述动作采集信号进行特征提取，得到动作静态特征，所述动作静态特征包括人体骨架位置特征和动作力度特征；
特征组合模块，用于对所述动作静态特征进行特征组合，得到动作动态特征，所述动作动态特征包括人体骨架特征序列和动作力度特征序列，并根据所述动作动态特征确定所述待感知用户的关键点动作特征；
特征融合模块，用于将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果。
本发明实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明实施例，通过对待感知用户进行动作采集，能有效地采集到待感知用户的视觉图像信号和力触觉信号，通过对动作采集信号进行特征提取，能有效地提取到待感知用户的动作静态特征，通过对动作静态特征进行特征组合，得到动作动态特征，基于动作动态特征能有效地确定到待感知用户的关键点动作特征，通过将关键点动作特征、动作静态特征和动作动态特征进行特征融合，使得动作感知结果中，能有效地呈现静态状态和动态状态下，待感知用户上关键点对应的位置特征和动作力度特征，提高了人体运动状态呈现的全面性，增强了动作感知数据的多源性。
附图说明
图1是本发明第一实施例提供的动作感知方法的流程图；
图2是本发明第一实施例提供的力触觉传感器的电路结构示意图；
图3本发明第一实施例提供的特征融合后的动作感知结果的结构示意图；
图4是本发明第二实施例提供的动作感知方法的流程图；
图5是本发明第三实施例提供的动作感知系统的结构示意图；
图6和图7是本发明第三实施例提供的动作感知系统的结构框架图
图8是本发明第四实施例提供的终端设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的动作感知方法的流程图，该动作感知方法可以应用与任一智能健身终端设备，该智能健身终端设备包括智能健身镜、手机、平板或可穿戴智能健身设备等，该动作感知方法包括步骤：
步骤S10，对待感知用户进行动作采集，得到动作采集信号，并对所述动作采集信号进行特征提取，得到动作静态特征；
其中，动作采集信号包括视觉图像信号和力触觉信号，动作静态特征包括人体骨架位置特征和动作力度特征，该步骤中，视觉图像信号的采集可以以智能健身终端设备上的视觉图像传感器来实现，该视觉图像传感器可以为任一具有图像采集功能的装置，待感知用户站立在智能健身终端设备前方的位置做各种健身动作，智能健身终端设备上的摄像头，可实时采集待感知用户健身时的图像序列，得到该视觉图像信号。
可选的，该步骤中，力触觉信号的采集可以以智能健身终端设备上的左右手拉力臂来实现，该左右手拉力臂内需安装力触觉传感器，力触觉传感器以电阻应变片为基础元件，待感知用户施加不同强度的拉力导致电阻应变片内的金属丝产生不同程度的拉伸或扭曲，从而改变电阻值。请参阅图2，电阻应变片用导线接到外部电路上可测定输出电压，得出电阻值的变化。在不加力的状态下，电桥上的四个电阻是同样的电阻值R。假若应变片被拉伸，电阻应变片的电阻增加ΔR，电路上各部分的电流和电压如图2所示，电阻之间存在下关系：
V＝(2R+ΔR)I1＝2RI2,V1＝(R+ΔR)I1,V2＝RI2
计算可得：
因此，电阻值的变化为：
步骤S20，对所述动作静态特征进行特征组合，得到动作动态特征，并根据所述动作动态特征确定所述待感知用户的关键点动作特征；
其中，动作动态特征包括人体骨架特征序列和动作力度特征序列，可选的，该步骤中，所述对所述动作静态特征进行特征组合，得到动作动态特征，包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并将双边滤波后的所述人体骨架位置特征和所述动作力度特征分别进行组合，得到所述人体骨架特征序列和所述动作力度特征序列；
其中，通过对时序窗口内连续的动作静态特征做双边滤波，并分别组合为连续帧的人体骨架特征序列和动作力度特征序列，该步骤中，通过设置一个时间窗口，在该时间窗口内，动作静态特征按时间顺序进行组合，时间窗口的长度较短，时间窗口内的平均状态可近似表示单独一帧的状态，每个时间窗口包括人体骨架特征序列和动作力度特征序列。
可选的，所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
分别为方差为σs,σr的高斯函数，||t0-t||为t0时刻与t时刻之间的时间差异值，/>为t0时刻与t时刻之间人体骨架位置特征的差异值，时间窗口时长度为T，w1(t,t0)表示所述时间窗口内，t0时刻的人体骨架位置作用于t时刻的人体骨架位置特征的权重；
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
为t0时刻与t时刻之间动作力度特征的差异值，w2(t,t0)表示所述时间窗口内，t0时刻的动作力度特征作用于t时刻的动作力度特征的权重；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均。
该步骤中，通过过对人体骨架位置特征和动作力度特征进行双边滤波，可去除体骨架位置特征和动作力度特征的噪声和异常，提高时序上的稳定性和鲁棒性。
该步骤中，所述根据所述动作动态特征确定所述待感知用户的关键点动作特征，包括：
根据所述动作动态特征，确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率。
更进一步地，所述确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率，所采用的公式为：
Sn＝sqrt((Xn,t-Xn,1)2+(Yn,t-Yn,1)2)
时序窗口时长为T，关键点n∈[0,17]在所述时序窗口的第一帧和最后一帧的位置分别为Pn,1(Xn,1,Yn,1)和Pn,t(Xn,t,Yn,t)，Sn是所述时间窗口内关键点n的移动距离；
在极小的时间窗口内，用户手臂的移动速度通常相等，因此，以该时间窗口内关键点平均移动速度代表关键点在每一帧的移动速度，因此：
Vn＝Sn/T
Vn是关键点n在所述时间窗口内的关键点运动速度；
在极小的时间窗口内，人体关键点的移动加速度通常相等，以该时间窗口内关键点平均加速度代表关键点在每一帧的加速度，因此：
an＝(Vm+1,n-Vm,n)/T
第m个所述时间窗口内，关键点n的平均运动速度为Vm,n，第m+1个时间窗口内，关键点n的平均运动速度为Vm+1,n，an是关键点n的关键点运动加速度；
该步骤中，待感知用户的左右手以某频率对拉力臂施加用力时，力触觉传感器采集得到的力度值将会呈现上下波动。将力度值波形曲线中的每一次极大值点视为待感知用户进行了一次发力，通过计算一段时间窗口内极大值点的数量可以得出待感知用户的发力次数。首先使用最小二乘法拟合的方法，将待感知用户的发力波形曲线拟合成一个n次多项式曲线，然后寻找该n次多项式曲线由单调递增变为单调递减的点，即可求得用户发力次数k，因此：
ft＝T/k
k是所述待感知用户的发力次数，ft是t时刻的所述左右手动作频率。
此外，该步骤中，所述对所述动作静态特征进行特征组合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，其中，同步配准用于将人体骨架位置特征和动作力度特征调节至同一帧率，视觉图像传感器和力触觉传感器在采集数据时有不同的频率/帧率，因此，提取到的人体骨架位置特征和动作力度特征有着不同的帧率。为了保证人体骨架位置特征和动作力度特征在时序上相互对应，需对人体骨架位置特征和动作力度特征做同步配准。配准方式可采用高帧率信息降采样的方式，使得较高帧率的体骨架位置特征和动作力度特征的帧率降低，最终使得体骨架位置特征和动作力度特征拥有相同的帧率，以实现时序上的同步。
步骤S30，将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果；
请参阅图3，为特征融合后的动作感知结果，该动作感知结果为多模态动作数据，该多模态动作数据包括不同时刻对应的多模态动作向量，时刻t的多模态动作向量可表示为：
Dt＝{pt,Ft,{pt}T,{Ft}T,{vi}N,{ai}N,fl,fr}
其中，T是以t时刻为最后一帧的时间窗口，N是人体骨架中关键点的数量。
可选的，该步骤中，可以将多模态动作数据被封装为统一的函数接口，供目标应用应用程序调用，目标应用程序可根据需求，选择性使用全部或者部分多模态动作数据，多模态动作数据可用于健身虚拟形象展示、动作质量评估和健身内容推荐等任务中。
本实施例，通过对待感知用户进行动作采集，能有效地采集到待感知用户的视觉图像信号和力触觉信号，通过对动作采集信号进行特征提取，能有效地提取到待感知用户的动作静态特征，通过对动作静态特征进行特征组合，得到动作动态特征，基于动作动态特征能有效地确定到待感知用户的关键点动作特征，通过将关键点动作特征、动作静态特征和动作动态特征进行特征融合，使得动作感知结果中，能有效地呈现静态状态和动态状态下，待感知用户上关键点对应的位置特征和动作力度特征，提高了人体运动状态呈现的全面性，增强了动作感知数据的多源性。
实施例二
请参阅图4，是本发明第二实施例提供的动作感知方法的流程图，该实施例用于对步骤S10作进一步细化，包括步骤：
步骤S11，将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
其中，该预设卷积网络可以根据需求进行设置，例如，该预设卷积网络可以设置为VGG(Visual Geometry Group)网络,通过将视觉图像信号输入预设卷积网络进行特征提取，以提取该视觉图像信号中待感知用户对应的图像特征。
可选的，该步骤中定义了18个人体关键点，分别是分别为鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳，通过将图像特征输入预训练后的整体姿势估计网络进行姿势分析，以得到待感知用户上不同人体关键点的坐标。
步骤S12，将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
其中，将人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，能有效地得到不同人体关键点对应的关键点置信度，并根据关键点置信度计算不同人体关键点之间的亲和度向量。
步骤S13，根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
其中，通过根据所述亲和度向量对人体关键点进行聚类处理，以确定人体关键点中的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳对应的关键点，并将确定到的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳进行组装，得到该人体骨架位置特征，该人体骨架位置特征可以为人体骨骼图像。
步骤S14，根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征；
其中，针对单帧的力触觉信号，将力触觉信号传感器采集的待感知用户使用机械拉力臂时的电阻变化信息转化为力度信息。已知力和电阻值的变化关系，就可以对两者进行转化，通过函数映射Φ将电阻值变化ΔR转化为动作力度值F，可以归纳为以下公式
F＝Φ(ΔR)。
本实施例中，通过将视觉图像信号输入预设卷积网络进行特征提取，以提取该视觉图像信号中待感知用户对应的图像特征，通过将人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，能有效地得到不同人体关键点对应的关键点置信度，通过根据所述亲和度向量对人体关键点进行聚类处理，以确定人体关键点中的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳对应的关键点，并将确定到的鼻、首、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、左足首、右目、右耳、左目、左耳进行组装，得到该人体骨架位置特征。
实施例三
请参阅图5，是本发明第三实施例提供的动作感知系统100的结构示意图，包括：动作采集模块10、特征组合模块11和特征融合模块12，其中：
动作采集模块10，用于对待感知用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号和力触觉信号，并对所述动作采集信号进行特征提取，得到动作静态特征，所述动作静态特征包括人体骨架位置特征和动作力度特征。
其中，该动作采集模块10还用于：将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
特征组合模块11，用于对所述动作静态特征进行特征组合，得到动作动态特征，所述动作动态特征包括人体骨架特征序列和动作力度特征序列，并根据所述动作动态特征确定所述待感知用户的关键点动作特征。
其中，该特征组合模块11还用于：分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并将双边滤波后的所述人体骨架位置特征和所述动作力度特征分别进行组合，得到所述人体骨架特征序列和所述动作力度特征序列。
可选的，所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
分别为方差为σs,σr的高斯函数，||t0-t||为t0时刻与t时刻之间的时间差异值，/>为t0时刻与t时刻之间人体骨架位置特征的差异值，时间窗口时长度为T，w1(t,t0)表示所述时间窗口内，t0时刻的人体骨架位置作用于t时刻的人体骨架位置特征的权重；
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
为t0时刻与t时刻之间动作力度特征的差异值，w2(t,t0)表示所述时间窗口内，t0时刻的动作力度特征作用于t时刻的动作力度特征的权重；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均。
进一步地，该特征组合模块11还用于：根据所述动作动态特征，确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率。
更进一步地，所述确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率，所采用的公式为：
Sn＝sqrt((Xn,t-Xn,1)2+(Yn,t-Yn,1)2)
时序窗口时长为T，关键点n∈[0,17]在所述时序窗口的第一帧和最后一帧的位置分别为Pn,1(Xn,1,Yn,1)和Pn,t(Xn,t,Yn,t)，Sn是所述时间窗口内关键点n的移动距离；
Vn＝Sn/T
Vn是关键点n在所述时间窗口内的关键点运动速度；
an＝(Vm+1,n-Vm,n)/T
第m个所述时间窗口内，关键点n的平均运动速度为Vm,n，第m+1个时间窗口内，关键点n的平均运动速度为Vm+1,n，an是关键点n的关键点运动加速度；
ft＝T/k
k是所述待感知用户的发力次数，ft是t时刻的所述左右手动作频率。
优选的，该特征组合模块11在所述对所述动作静态特征进行特征组合之前，还用于：对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
特征融合模块12，用于将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果。
请参阅图6至图7，为本发明第三实施例提供的动作感知系统100的结构框架图，该动作感知系统100包括物理设备层、静态特征提取层、时序同步层、动态特征提取层、特征融合层和应用接口层。物理设备层用于交互信息的采集，通过视觉图像传感器和力触觉传感器采集动作采集信号；静态特征提取层采用不同的特征提取算法，对每个时刻获取到视觉图像信号和力触觉信号进行特征提取，得到单帧的人体骨架位置特征和动作力度特征；时序同步层对不同帧率下的人体骨架位置特征和动作力度特征做同步和配准，使得两类静态特征在时间维度上一一对应；动作特征提取层对时序窗口内连续的静态特征做滤波处理，并分别组合为连续帧的人体骨架特征序列和动作力度特征序列；特征融合层对两类动态特征数据做进一步计算，得到人体关键点运动速度和加速度、左右手动作频率，并与上述静态和动态特征组合形成多模态动作数据，提供给目标应用接口层；目标应用接口层对多模态运作数据做接口封装，为健身虚拟形象展示、动作质量评估和健身内容推荐等具体应用提供接口调用。
本实施例，通过对待感知用户进行动作采集，能有效地采集到待感知用户的视觉图像信号和力触觉信号，通过对动作采集信号进行特征提取，能有效地提取到待感知用户的动作静态特征，通过对动作静态特征进行特征组合，得到动作动态特征，基于动作动态特征能有效地确定到待感知用户的关键点动作特征，通过将关键点动作特征、动作静态特征和动作动态特征进行特征融合，使得动作感知结果中，能有效地呈现静态状态和动态状态下，待感知用户上关键点对应的位置特征和动作力度特征，提高了人体运动状态呈现的全面性，增强了动作感知数据的多源性。
实施例四
图8是本申请第四实施例提供的一种终端设备2的结构框图。如图8所示，该实施例的终端设备2包括：处理器20、存储器21以及存储在所述存储器21中并可在所述处理器20上运行的计算机程序22，例如动作感知方法的程序。处理器20执行所述计算机程序23时实现上述各个动作感知方法各实施例中的步骤，例如图1所示的S10至S30，或者图4所示的S11至S14。或者，所述处理器20执行所述计算机程序22时实现上述图5对应的实施例中各单元的功能，例如，图5所示的单元10至12的功能，具体请参阅图5对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序22可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器21中，并由所述处理器20执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序22在所述终端设备2中的执行过程。例如，所述计算机程序22可以被分割成动作采集模块10、特征组合模块11和特征融合模块12，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器20、存储器21。本领域技术人员可以理解，图8仅仅是终端设备2的示例，并不构成对终端设备2的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是所述终端设备2的内部存储单元，例如终端设备2的硬盘或内存。所述存储器21也可以是所述终端设备2的外部存储设备，例如所述终端设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器21还可以既包括所述终端设备2的内部存储单元也包括外部存储设备。所述存储器21用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。其中，计算机可读存储介质可以是非易失性的，也可以是易失性的。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种动作感知方法，其特征在于，所述方法包括：
对待感知用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号和力触觉信号，并对所述动作采集信号进行特征提取，得到动作静态特征，所述动作静态特征包括人体骨架位置特征和动作力度特征；
对所述动作静态特征进行特征组合，得到动作动态特征，所述动作动态特征包括人体骨架特征序列和动作力度特征序列，并根据所述动作动态特征确定所述待感知用户的关键点动作特征；
将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果；
所述对所述动作静态特征进行特征组合，得到动作动态特征，包括：
分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并将双边滤波后的所述人体骨架位置特征和所述动作力度特征分别进行组合，得到所述人体骨架特征序列和所述动作力度特征序列；
所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
分别为方差为σs,σr的高斯函数，||t0-t||为t0时刻与t时刻之间的时间差异值，/>为t0时刻与t时刻之间人体骨架位置特征的差异值，时间窗口时长度为T，w1(t,t0)表示所述时间窗口内，t0时刻的人体骨架位置作用于t时刻的人体骨架位置特征的权重；
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
为t0时刻与t时刻之间动作力度特征的差异值，w2(t,t0)表示所述时间窗口内，t0时刻的动作力度特征作用于t时刻的动作力度特征的权重；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均。
2.如权利要求1所述的动作感知方法，其特征在于，所述对所述动作采集信号进行特征提取，得到动作静态特征，包括：
将所述视觉图像信号输入预设卷积网络进行特征提取，得到图像特征，并将所述图像特征输入预训练后的整体姿势估计网络进行姿势分析，得到人体关键点的坐标；
将所述人体关键点的坐标输入预训练后的置信度映射网络进行置信度分析，得到关键点置信度，并根据所述关键点置信度确定不同所述人体关键点之间的亲和度向量；
根据所述亲和度向量对所述人体关键点进行聚类处理，并对聚类处理后的所述人体关键点进行组装，得到所述人体骨架位置特征；
根据所述力触觉信号确定动作阻值变化值，并根据所述动作阻值变化值确定所述动作力度特征。
3.如权利要求1所述的动作感知方法，其特征在于，所述根据所述动作动态特征确定所述待感知用户的关键点动作特征，包括：
根据所述动作动态特征，确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率。
4.如权利要求3所述的动作感知方法，其特征在于，所述确定所述待感知用户上不同关键点的关键点运动速度、关键点运动加速度和左右手动作频率，所采用的公式为：
Sn＝sqrt((Xn,t-Xn,1)2+(Yn,t-Yn,1)2)
时序窗口时长为T，关键点n∈[0,17]在所述时序窗口的第一帧和最后一帧的位置分别为Pn,1(Xn,1,Yn,1)和Pn,t(Xn,t,Yn,t)，Sn是所述时序窗口内关键点n的移动距离；
Vn＝Sn/T
Vn是关键点n在所述时间窗口内的关键点运动速度；
an＝(Vm+1,n-Vm,n)/T
第m个所述时间窗口内，关键点n的平均运动速度为Vm,n，第m+1个时间窗口内，关键点n的平均运动速度为Vm+1,n，an是关键点n的关键点运动加速度；
ft＝T/k
k是所述待感知用户的发力次数，ft是t时刻的所述左右手动作频率。
5.如权利要求1所述的动作感知方法，其特征在于，所述对所述动作静态特征进行特征组合之前，还包括：
对所述人体骨架位置特征和所述动作力度特征进行同步配准，所述同步配准用于将所述人体骨架位置特征和所述动作力度特征调节至同一帧率。
6.一种动作感知系统，其特征在于，所述系统包括：
动作采集模块，用于对待感知用户进行动作采集，得到动作采集信号，所述动作采集信号包括视觉图像信号和力触觉信号，并对所述动作采集信号进行特征提取，得到动作静态特征，所述动作静态特征包括人体骨架位置特征和动作力度特征；
特征组合模块，用于对所述动作静态特征进行特征组合，得到动作动态特征，所述动作动态特征包括人体骨架特征序列和动作力度特征序列，并根据所述动作动态特征确定所述待感知用户的关键点动作特征；所述对所述动作静态特征进行特征组合，得到动作动态特征，包括：分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波，并将双边滤波后的所述人体骨架位置特征和所述动作力度特征分别进行组合，得到所述人体骨架特征序列和所述动作力度特征序列；
所述分别对所述人体骨架位置特征和所述动作力度特征进行双边滤波所采用的滤波公式为：
分别为方差为σs,σr的高斯函数，||t0-t||为t0时刻与t时刻之间的时间差异值，/>为t0时刻与t时刻之间人体骨架位置特征的差异值，时间窗口时长度为T，w1(t,t0)表示所述时间窗口内，t0时刻的人体骨架位置作用于t时刻的人体骨架位置特征的权重；
Pt是t时刻的所述人体骨架位置特征，t时刻的人体骨架位置特征Pt为所述时间窗口内所有帧人体骨架位置特征的加权平均；
为t0时刻与t时刻之间动作力度特征的差异值，w2(t,t0)表示所述时间窗口内，t0时刻的动作力度特征作用于t时刻的动作力度特征的权重；
Ft为t时刻的动作力度特征，t时刻的动作力度特征Ft为所述时间窗口内所有帧动作力度特征Ft的加权平均；
特征融合模块，用于将所述关键点动作特征、所述动作静态特征和所述动作动态特征进行特征融合，得到动作感知结果。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110581723.5A CN113239848B (zh) | 2021-05-27 | 2021-05-27 | 动作感知方法、系统、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110581723.5A CN113239848B (zh) | 2021-05-27 | 2021-05-27 | 动作感知方法、系统、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239848A CN113239848A (zh) | 2021-08-10 |
| CN113239848B true CN113239848B (zh) | 2024-02-02 |
Family
ID=77138985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110581723.5A Active CN113239848B (zh) | 2021-05-27 | 2021-05-27 | 动作感知方法、系统、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239848B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487522A (zh) * | 2021-09-08 | 2021-10-08 | 深圳市诚识科技有限公司 | 用于图像通信的多信道切换降噪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472554A (zh) * | 2019-08-12 | 2019-11-19 | 南京邮电大学 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
| CN110711374A (zh) * | 2019-10-15 | 2020-01-21 | 石家庄铁道大学 | 多模态舞蹈动作评价方法 |
| CN111079536A (zh) * | 2019-11-18 | 2020-04-28 | 高新兴科技集团股份有限公司 | 基于人体关键点时序的行为分析方法、存储介质及设备 |
| WO2021051579A1 (zh) * | 2019-09-17 | 2021-03-25 | 平安科技（深圳）有限公司 | 形体姿态识别方法、系统、装置及存储介质 |
-
2021
- 2021-05-27 CN CN202110581723.5A patent/CN113239848B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472554A (zh) * | 2019-08-12 | 2019-11-19 | 南京邮电大学 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
| WO2021051579A1 (zh) * | 2019-09-17 | 2021-03-25 | 平安科技（深圳）有限公司 | 形体姿态识别方法、系统、装置及存储介质 |
| CN110711374A (zh) * | 2019-10-15 | 2020-01-21 | 石家庄铁道大学 | 多模态舞蹈动作评价方法 |
| CN111079536A (zh) * | 2019-11-18 | 2020-04-28 | 高新兴科技集团股份有限公司 | 基于人体关键点时序的行为分析方法、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239848A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| GB2561277B (en) | Forecasting multiple poses based on a graphical image | |
| CN113239849B (zh) | 健身动作质量评估方法、系统、终端设备及存储介质 | |
| CN111046734B (zh) | 基于膨胀卷积的多模态融合视线估计方法 | |
| CN107481280B (zh) | 一种骨骼点的矫正方法及计算设备 | |
| CN110688874A (zh) | 人脸表情识别方法及其装置、可读存储介质和电子设备 | |
| CN111107278B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN110348370B (zh) | 一种人体动作识别的增强现实系统及方法 | |
| US20220358662A1 (en) | Image generation method and device | |
| CN107422844B (zh) | 一种信息处理方法及电子设备 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| CN110147163A (zh) | 面向移动设备的多模型融合驱动的眼动跟踪方法和系统 | |
| CN113239848B (zh) | 动作感知方法、系统、终端设备及存储介质 | |
| CN112069863A (zh) | 一种面部特征的有效性判定方法及电子设备 | |
| CN108509830B (zh) | 一种视频数据处理方法及设备 | |
| CN104794446A (zh) | 基于合成描述子的人体动作识别方法及系统 | |
| CN116266415A (zh) | 基于健身教学训练的动作评价方法及系统及装置及介质 | |
| CN118314618A (zh) | 融合虹膜分割的眼动追踪方法、装置、设备及存储介质 | |
| CN113051973A (zh) | 用于姿势矫正的方法及装置、电子设备 | |
| CN117132515A (zh) | 一种图像处理方法及电子设备 | |
| CN114764944A (zh) | 基于角点检测的瞳孔定位方法及装置 | |
| CN113283402B (zh) | 一种差分式二维注视点检测方法及装置 | |
| CN117392760B (zh) | 一种基于折半交叉网络的健康指导方法和系统 | |
| CN109683704B (zh) | 一种ar界面交互方法及ar显示设备 | |
| CN114627427B (zh) | 基于时空信息的跌倒检测方法、系统、存储介质及设备 | |
| CN115035238B (zh) | 人体重建插帧方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |