CN115496170B - 一种人体姿态识别方法、系统、电子设备及存储介质 - Google Patents

一种人体姿态识别方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN115496170B
CN115496170B CN202211441234.0A CN202211441234A CN115496170B CN 115496170 B CN115496170 B CN 115496170B CN 202211441234 A CN202211441234 A CN 202211441234A CN 115496170 B CN115496170 B CN 115496170B
Authority
CN
China
Prior art keywords
point cloud
cloud data
human body
model
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211441234.0A
Other languages
English (en)
Other versions
CN115496170A (zh
Inventor
高军峰
张宇
张冰洋
向杰
曹书琪
黄龙
付君雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202211441234.0A priority Critical patent/CN115496170B/zh
Publication of CN115496170A publication Critical patent/CN115496170A/zh
Application granted granted Critical
Publication of CN115496170B publication Critical patent/CN115496170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于人体运动点云数据和多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于姿态识别模型对初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过预处理去除初始点云数据的噪声，从而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。

Description

一种人体姿态识别方法、系统、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域，更具体地，涉及一种人体姿态识别方法、系统、电子设备及存储介质。
背景技术
毫米波雷达使用毫米波通常是指30~-300GHz频域(波长为1~10mm)的。毫米波的波长介于厘米波和光波之间,因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比,毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,具有全天候全天时的特点,目前经常用亳米波雷达来识别人体姿态的信息。
随着毫米波雷达技术的成熟，毫米波雷达在日常生活中得到了广泛的引用，其中包括基于毫米波雷达的多普勒效应对人体姿态进行识别，其过程可以是利用人体各身体部件的不同微动方式会在雷达回信号中引起不同调制效果，可通过对雷达回波信号进行时频变换得到的微多普勒谱图中观察到这种效果，并具有各自的微多普勒特性，这样的微多普勒特性能有效地估计人体运动姿态变化规律和识别人体运动动作。然而由于毫米波雷达系统产生的点云稀疏和不均匀，导致在人体姿态识别时精度降低，因此，如何进一步提高人体姿态识别精度是亟待解决的问题。
发明内容
本发明针对现有技术中存在的技术问题，提供一种人体姿态识别方法、系统、电子设备及存储介质，用以解决如何进一步提高人体姿态识别精度的问题。
根据本发明的第一方面，提供了一种人体姿态识别方法，包括：
基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；
对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；
基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；
基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据的步骤，包括：
获取初始点云数据；
基于预设算法对所述初始点云数据中人体中心进行聚类；
将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。
可选的，所述对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息的步骤，包括：
将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。
可选的，所述将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息的步骤之后，包括：
构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。
可选的，所述基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型的步骤，包括：
基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；
基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型。
可选的，所述高阶因子分解模型为：
Figure 923320DEST_PATH_IMAGE001
;
其中，
Figure 625697DEST_PATH_IMAGE002
是目标函数，
Figure 315304DEST_PATH_IMAGE003
和
Figure 823646DEST_PATH_IMAGE004
是权重因子，
Figure 157675DEST_PATH_IMAGE005
、
Figure 358849DEST_PATH_IMAGE006
和
Figure 4594DEST_PATH_IMAGE007
表示特征变量，
Figure 113365DEST_PATH_IMAGE008
、
Figure 163885DEST_PATH_IMAGE009
和
Figure 942485DEST_PATH_IMAGE010
表示隐向量，
Figure 809947DEST_PATH_IMAGE011
和
Figure 722408DEST_PATH_IMAGE012
为隐向量的点积，
Figure 31030DEST_PATH_IMAGE013
为单个特征变量的数量，i、 j和l为序号。
可选的，所述人体姿态识别方法，还包括：
基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。
根据本发明的第二方面，提供一种人体姿态识别系统，包括：
数据处理模块，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；
特征提取模块，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；
模型训练模块，用于基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；
姿态识别模块，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一人体姿态识别方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一人体姿态识别方法的步骤。
本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。
附图说明
图1为本发明提供的一种人体姿态识别方法流程图；
图2为本发明提供的数据处理流程示意图；
图3为本发明提供的一种人体姿态识别系统结构示意图；
图4为本发明提供的一种可能的电子设备的硬件结构示意图；
图5为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种人体姿态识别方法流程图，如图1所示，方法包括：
步骤S100：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；
需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信及程序运行功能的计算机终端设备，例如：电脑、平板电脑等；也可以是具有相同相似功能的服务器设备，还可以是具有相似功能的云服务器，本实施例对此不做限制。为了便于理解，本实施例及下述各实施例将以服务器设备为例进行说明。
可以理解的是，在硬件方面，本实施例方法可以是直接在各种型号毫米波雷达和PC 上构建本系统。该雷达的实际频率范围为 76 至 81GHz，实际带宽为 4GHz。它的距离分辨率为0.047m，多普勒分辨率为0.38m/s。，该雷达有3个发射天线和4个接收天线，发射功率为12dBm，采样率为37.5Msps。带有处理器（Intel xxxxxx @ 2.1GHz）和内存（4GB）详细信息的 PC。软件方面，数据收集模块在 C 程序上运行，数据预处理模块在 Python 上运行，ActFM模型在 tensorflow 1.4 平台上运行。
应理解的是，上述初始点云数据可以是毫米波雷达首先发出 FMCW（调频连续波）信号，并将反射信号处理成中频（IF）信号，然后可以推导出距离d、速度v和角度。以帧为单位，获取每一帧的原始采集数据，包括坐标值（x、y、z）和速度（v）。
还可以理解的是，得到上述预处理的步骤可以是包括，将人体运动的点云从环境和多径效应引起的噪声中分离出来的步骤，从而减少噪声数据的干扰，提升模型训练过程的训练效率。
为了进一步说明上述预处理的步骤，本实施例中，还包括：
步骤S101：获取初始点云数据；
步骤S102：基于预设算法对所述初始点云数据中人体中心进行聚类；
可以理解的是，上述预设算法可以是使用大阈值的DBSCAN（Density-BasedSpatial Clustering of Applications with Noise，基于密度的聚类算法），基于目标人体的位置和点分布的密度，对人体中心进行聚类，以提取面向人体运动的点云数据。
步骤S103：将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。
在具体过程中，将上述聚类后的得到的面向人体运动的点云数据进行体素化，从而使得后续训练的模型进一步的得到简化，降低分类器的计算复杂度，增强学习效率。
步骤S200：对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；
为了进一步说明上述多个点进行关联的步骤，本实施例中，还包括：
步骤S201：将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。
需要说明的是，上述对多个点进行关联可以是将点云数据中的点与点之间进行连接，从而获取其对应的特征信息，例如：将三个点之间进行连接，从而得到三个点之间的相互距离、角度、移动方向和移动速度。
为了进一步降低分类器数据处理的复杂度，本实施例中，还包括：
步骤S202：构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。
需要说明的是，上述one-hot编码也称为独热编码，也即是用N位状态寄存器编码N个状态，每个状态都有独立的寄存器位，且这些寄存器位中只有一位有效，只能有一个状态。
步骤S300：基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；
需要说明的是，上述预设的分类模型可以是本实施例设计的基于ActFM的轻量级机器学习模型，同时结合了高阶分解机对不同的活动进行分类。
其中，标准的因子分解机的模型如下所示：
Figure 105165DEST_PATH_IMAGE014
；
其中，
Figure 194344DEST_PATH_IMAGE002
是目标函数，
Figure 520283DEST_PATH_IMAGE015
和
Figure 808045DEST_PATH_IMAGE004
是权重因子，
Figure 194027DEST_PATH_IMAGE005
和
Figure 832818DEST_PATH_IMAGE016
表示特征变量，
Figure 696869DEST_PATH_IMAGE008
和
Figure 839137DEST_PATH_IMAGE009
表 示隐向量，
Figure 720987DEST_PATH_IMAGE011
为隐向量的点积，n为单个特征变量的数量，i和j为序号。
因子分解机能够学习到数据中特征变量之间隐藏的相互关系，也就是所谓的隐空间，这样就在合理的适用情况下，使用更多的信息进行学习。当训练输入的点云数据比较稀疏时，即缺少足够的样本供模型学习交叉项系数，而因子分解机通过因子分解的方式，学习到交互参数。
一般的因子分解机是一个二阶多项式模型，在建模时只考虑特征和特征之间的二阶互动，即特征变量的成对互动，因为这是由因子分解机模型本身决定的。然而事实证明，仅仅考虑两个特征之间的相互作用关系是不够的，还涉及高阶组合关系。因此，将二阶因子化模型扩展到三阶甚至更高的因子分解机是必要的，这样就可以学习到特征之间的高阶交叉关系，从而实现模型的更好性能。由此给出了高阶因子分解机模型为：
Figure 315917DEST_PATH_IMAGE001
;
其中，
Figure 577134DEST_PATH_IMAGE002
是目标函数，
Figure 42750DEST_PATH_IMAGE003
和
Figure 98431DEST_PATH_IMAGE004
是权重因子，
Figure 587181DEST_PATH_IMAGE005
、
Figure 120930DEST_PATH_IMAGE006
和
Figure 503370DEST_PATH_IMAGE007
表示特征变量，
Figure 402056DEST_PATH_IMAGE008
、
Figure 174840DEST_PATH_IMAGE009
和
Figure 311948DEST_PATH_IMAGE010
表示隐向量，
Figure 689840DEST_PATH_IMAGE011
和
Figure 618481DEST_PATH_IMAGE012
为隐向量的点积，
Figure 144141DEST_PATH_IMAGE013
为单个特征变量的数量，i、 j和l为序号，省略号部分为当存在更多的特征变量时按前面的规则进行扩展。
本实施例模型中，不仅可以有效利用多个特征的信息，并且可以发掘特征与特征 之间的隐藏关系以获取更多信息。执行10x5的嵌套交叉验证，正则化参数在
Figure 19693DEST_PATH_IMAGE017
的范围内进行优化。
为了进一步说明上述模型训练的步骤，本实施例中，还包括：
步骤S301：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；
步骤S302：基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型。
需要说明的是，上述预设学习率可以是根据用户的实际需求设定的，当然为了得到在同等计算机性能的基础上训练时长和预测精度之间相对较好效果的模型，上述学习率可以设置为0.001。
同时，为了进一步降低训练时长，同时的得到相对较好的预测精确度，本实施例，还包括：
步骤S303：基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。
可以理解的是，由于特征信息的交互顺序也会对训练时长和预测精度产生影响，因此本实施例还提供了基于多个特征信息的交互顺序对上述姿态识别模型进行优化，从而实现训练时长与预测精度之间的最优效果。
步骤S400：基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种人体姿态识别方法。方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。并且由于是使用的是低成本的毫米波雷达，从而可以在低成本的情况下实现获取到的点云数据不仅是坐标，还包括目标的运动方向、运动速度等，能够在模型训练中使用更多的特征。本发明还通过使用构造点云矢量特征的方式，并将其加入高阶分解机模型汇总，可以减少模型参数估计的运行时间，以达到轻量级的效果。
在一种可能的实施例场景中，本实施例中的数据流向，参见图2，图2为本发明提供的数据处理流程示意图；在本实施例中，首先基于毫米波雷达进行数据采集得到初始的点云数据，再对初始的点云数据进行数据预处理，从而得到降噪后的人体运动点云数据，然后进一步基于人体运动点云数据构造点云矢量特征，其特征信息包括：距离、角度、方向和速度，进而基于点云矢量特征和人体运动点云数据进行模型训练，得到训练好的姿态识别模型，最后用训练好的姿态识别模型对获取到的初始点云数据进行分类识别，从而得到室内人体的姿态信息，进而根据人体的姿态信息检测得到目标人体的状态信息。
请参阅图3，图3为本发明实施例提供的一种人体姿态识别系统结构图示意图，如图3所示，一种人体姿态识别系统，包括数据处理模块100、特征提取模块200、模型训练模块300和姿态识别模块400，其中：
数据处理模块100，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；特征提取模块200，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；模型训练模块300，用于基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；姿态识别模块400，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
可以理解的是，本发明提供的一种人体姿态识别系统与前述各实施例提供的人体姿态识别方法相对应，人体姿态识别系统的相关技术特征可参考人体姿态识别方法的相关技术特征，在此不再赘述。
请参阅图4，图4为本发明实施例提供的电子设备的实施例示意图。如图4所示，本发明实施例提供了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：
基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。
请参阅图5，图5为本发明提供的一种计算机可读存储介质的实施例示意图。如图5所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：
基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。
本发明提供的一种人体姿态识别方法、系统、电子设备及存储介质，方法包括：基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；对上述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；基于上述人体运动点云数据和上述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型；基于上述姿态识别模型对上述初始点云数据进行识别，得到其对应的人体姿态信息。本发明通过对初始点云数据预处理，从而将点云数据中的噪声数据去除，进而降低分类识别模型的计算复杂度以及增强学习效率，基于去噪的人体运动点云数据和多个特征进行模型训练得到姿态识别模型，并基于上述姿态识别模型对点云数据进行姿态识别，从而大大的提高人体姿态识别精度。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种人体姿态识别方法，其特征在于，所述方法包括：
基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；
对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；
基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型，其中，所述得到训练完成的姿态识别模型的步骤包括：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型；所述高阶因子分解模型为：
Figure 162309DEST_PATH_IMAGE001
；
其中，
Figure 645242DEST_PATH_IMAGE002
是目标函数，
Figure 117812DEST_PATH_IMAGE003
和
Figure 44311DEST_PATH_IMAGE004
是权重因子，
Figure 969542DEST_PATH_IMAGE005
、
Figure 256166DEST_PATH_IMAGE006
和
Figure 317663DEST_PATH_IMAGE007
表示特征变量，
Figure 602014DEST_PATH_IMAGE008
、
Figure 824661DEST_PATH_IMAGE009
和
Figure 852659DEST_PATH_IMAGE010
表示隐向量，
Figure 96559DEST_PATH_IMAGE011
和
Figure 286232DEST_PATH_IMAGE012
为隐向量的点积，
Figure 186055DEST_PATH_IMAGE013
为单个特征变量的数量，i、j 和l为序号；
基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
2.根据权利要求1所述的人体姿态识别方法，其特征在于，所述基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据的步骤，包括：
获取初始点云数据；
基于预设算法对所述初始点云数据中人体中心进行聚类；
将聚类后的结果进行体素化处理，得到噪声分离后的人体运动点云数据。
3.根据权利要求1所述的人体姿态识别方法，其特征在于，所述对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息的步骤，包括：
将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息。
4.根据权利要求3所述的人体姿态识别方法，其特征在于，所述将所述人体运动点云数据进行多点连接，获取其对应的多点之间的距离、角度、移动方向和移动速度的特征信息的步骤之后，包括：
构建二维矩阵，将所述多个点之间的距离、角度、移动方向和移动速度的特征信息以one-hot编码进行存储。
5.根据权利要求1所述的人体姿态识别方法，其特征在于，还包括：
基于所述多个特征信息的交互顺序，对所述姿态识别模型进行优化，得到优化后的姿态识别模型。
6.一种人体姿态识别系统，其特征在于，包括：
数据处理模块，用于基于预设算法对获取的初始点云数据进行预处理，得到噪声分离后的人体运动点云数据；
特征提取模块，用于对所述人体运动点云数据中多个点进行关联，获取其对应的多个特征信息；
模型训练模块，用于基于所述人体运动点云数据和所述多个特征信息对预设的分类识别模型进行训练，得到训练完成的姿态识别模型，其中，所述得到训练完成的姿态识别模型的步骤包括：基于所述多个特征信息构建对应的预设的分类识别模型，所述预设的分类识别模型为高阶因子分解模型；基于所述高阶因子分解模型对所述人体运动点云数据和所述多个特征信息进行交叉学习，直至满足预设学习率时，得到训练完成的姿态识别模型；所述高阶因子分解模型为：
Figure 565215DEST_PATH_IMAGE014
；
其中，
Figure 866883DEST_PATH_IMAGE002
是目标函数，
Figure 227457DEST_PATH_IMAGE003
和
Figure 676893DEST_PATH_IMAGE004
是权重因子，
Figure 46695DEST_PATH_IMAGE005
、
Figure 750339DEST_PATH_IMAGE006
和
Figure 547394DEST_PATH_IMAGE007
表示特征变量，
Figure 156230DEST_PATH_IMAGE008
、
Figure 392039DEST_PATH_IMAGE009
和
Figure 402721DEST_PATH_IMAGE010
表示隐向量，
Figure 370677DEST_PATH_IMAGE011
和
Figure 279858DEST_PATH_IMAGE012
为隐向量的点积，
Figure 991462DEST_PATH_IMAGE013
为单个特征变量的数量，i、j 和l为序号；
姿态识别模块，用于基于所述姿态识别模型对所述初始点云数据进行识别，得到其对应的人体姿态信息。
7.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-5任一项所述的人体姿态识别方法的步骤。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-5任一项所述的人体姿态识别方法的步骤。
CN202211441234.0A 2022-11-17 2022-11-17 一种人体姿态识别方法、系统、电子设备及存储介质 Active CN115496170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211441234.0A CN115496170B (zh) 2022-11-17 2022-11-17 一种人体姿态识别方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211441234.0A CN115496170B (zh) 2022-11-17 2022-11-17 一种人体姿态识别方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115496170A CN115496170A (zh) 2022-12-20
CN115496170B true CN115496170B (zh) 2023-02-17

Family

ID=85116089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211441234.0A Active CN115496170B (zh) 2022-11-17 2022-11-17 一种人体姿态识别方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115496170B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870845A (zh) * 2014-04-08 2014-06-18 重庆理工大学 点云聚类去噪过程中新的k值优化方法
CN106485750A (zh) * 2016-09-13 2017-03-08 电子科技大学 一种基于监督局部子空间的人体姿态估计方法
CN115205891A (zh) * 2022-05-31 2022-10-18 北京邮电大学 人员行为识别模型训练方法、行为识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102482B2 (en) * 2015-08-07 2018-10-16 Google Llc Factorized models
WO2022093707A1 (en) * 2020-10-29 2022-05-05 Roc8Sci Co. Cardiopulmonary health monitoring using thermal camera and audio sensor
CN113111840A (zh) * 2021-04-26 2021-07-13 常州典宏自动化科技有限公司 一种煤矿综采工作面作业人员违规和危险行为预警方法
CN113426109B (zh) * 2021-06-24 2023-09-26 深圳市优智创芯科技有限公司 一种基于因式分解机进行棋牌游戏行为克隆的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870845A (zh) * 2014-04-08 2014-06-18 重庆理工大学 点云聚类去噪过程中新的k值优化方法
CN106485750A (zh) * 2016-09-13 2017-03-08 电子科技大学 一种基于监督局部子空间的人体姿态估计方法
CN115205891A (zh) * 2022-05-31 2022-10-18 北京邮电大学 人员行为识别模型训练方法、行为识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于调频连续波雷达的多维信息特征融合人体姿势识别方法》;冯心欣 等;《电子与信息学报》;20221031;第44卷(第10期);第3583-3591页； *

Also Published As

Publication number Publication date
CN115496170A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
Sang et al. Micro hand gesture recognition system using ultrasonic active sensing
CN107300698B (zh) 一种基于支持向量机的雷达目标航迹起始方法
CN112651995A (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
Davey et al. Track-Before-Detect Using Expectation Maximisation
Wei et al. Automatic modulation recognition for radar signals via multi-branch ACSE networks
Mathias et al. Occlusion aware underwater object tracking using hybrid adaptive deep SORT-YOLOv3 approach
Santhalingam et al. Expressive ASL recognition using millimeter-wave wireless signals
Wei et al. RSSI-based location fingerprint method for RFID indoor positioning: a review
CN112633326B (zh) 一种基于贝叶斯多源融合的无人机目标检测方法
CN115469303A (zh) 一种检测人体姿态和生命体征的认知生物雷达方法与装置
Feng et al. DAMUN: A domain adaptive human activity recognition network based on multimodal feature fusion
CN115496170B (zh) 一种人体姿态识别方法、系统、电子设备及存储介质
Xu et al. DTFTCNet: Radar Modulation Recognition with Deep Time-Frequency Transformation
Deng et al. UWB NLOS recognition based on improved convolutional neural network assisted by wavelet analysis and Gramian angular field
US20240013521A1 (en) Sequence processing for a dataset with frame dropping
Jain et al. Fusion-driven deep feature network for enhanced object detection and tracking in video surveillance systems
CN115656958A (zh) 实时航迹起始和航迹分类的检测方法及检测装置
KR102357469B1 (ko) 경량 딥러닝 네트워크를 이용한 fmcw 레이더 신호 처리 방법 및 시스템
CN114445456A (zh) 基于部分模型的数据驱动智能机动目标跟踪方法及装置
Luo et al. Edgeactnet: Edge intelligence-enabled human activity recognition using radar point cloud
Gupta et al. Deep Learning Techniques in Radar Emitter Identification.
Rocha et al. Beyond Land: A Review of Benchmarking Datasets, Algorithms, and Metrics for Visual-Based Ship Tracking
Zhu et al. Emitter target tracking by tracklet association using affinity propagation
CN117746304B (zh) 基于计算机视觉的冰箱食材识别定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant