CN116645721B - 基于深度学习的坐姿识别方法及系统 - Google Patents
基于深度学习的坐姿识别方法及系统 Download PDFInfo
- Publication number
- CN116645721B CN116645721B CN202310458735.8A CN202310458735A CN116645721B CN 116645721 B CN116645721 B CN 116645721B CN 202310458735 A CN202310458735 A CN 202310458735A CN 116645721 B CN116645721 B CN 116645721B
- Authority
- CN
- China
- Prior art keywords
- sitting posture
- human body
- space
- time
- abnormal sitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 230000036544 posture Effects 0.000 claims abstract description 228
- 230000002159 abnormal effect Effects 0.000 claims abstract description 151
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 58
- 230000000276 sedentary effect Effects 0.000 claims description 41
- 230000006399 behavior Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 244000309466 calf Species 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 241001456553 Chanodichthys dabryi Species 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000005452 bending Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种基于深度学习的坐姿识别方法及系统，其特征在于：该方法包括如下步骤：S1、采集视频数据，构建包含人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据的多维度特征的人体异常坐姿训练数据集；S2、将基于图卷积神经网络的人体异常坐姿多时空尺度特征提取模型和基于循环神经网络的人体异常坐姿局部骨骼夹角特征提取模型提取的特征进行融合，并结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型；S3、采用Faster‑RCNN目标检测模型、HRNet人体姿态估计模型、人体异常坐姿识别神经网络模型，预测异常坐姿种类。本发明具有不易丢失坐姿特征、人体异常坐姿识别准确性高的特点。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于深度学习的坐姿识别方法及系统。
背景技术
因异常坐姿引起的相关疾病严重影响人们的日常工作和学习，因此，及时识别异常坐姿并进行提醒对人们的健康具有重要的意义。近年来，人工智能和传感器技术在人体姿态识别、行为识别等领域取得了较快的发展，依托这些技术如何识别识别人体异常坐姿成为了一个热点问题。
现有技术中，使用人工智能技术识别人体异常坐姿时均需要采集异常状态下的数据，基于视觉传感器采集人体异常坐姿数据时，通常使用各类摄像头捕捉相关画面，图像/视频中的信息丰富，但需要较大的存储空间，采集到的画面大部分仅包含人体上半身，特征不全面，同时画面采集的视角、光照变化会直接影响分类器的识别性能。使用深度学习分类算法进行异常坐姿识别的研究中，多以卷积神经网络模型作为特征分类器，由于平移不变性和参数共享等特点，卷积神经网络十分适合提取异常坐姿压力热图以及RGB图像中的信息，但该类算法需要大量的数据进行预训练，此外采用时空图卷积神经网络提取人体动作特征时，随着卷积的进行，时间维度的特征在不断地被压缩，动作序列地帧数在不断减少，容易丢失坐姿特征，降低了人体异常坐姿识别的准确性。
发明内容
本发明的目的在于克服上述缺点而提出了一种不易丢失坐姿特征、人体异常坐姿识别准确性高的基于深度学习的坐姿识别方法及系统。
本发明的一种基于深度学习的坐姿识别方法，其中：该方法包括如下步骤：
S1、构建人体异常坐姿训练数据集：采集人体坐姿从正常转变为异常的视频数据，构建包含人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据的多维度特征的人体异常坐姿训练数据集；具体包括：
S11、划分人体异常坐姿的种类；
S12、获取人体异常坐姿视频并标注不同的异常坐姿种类；
S13、对视频样本进行切帧或补帧处理；
S14、加载Faster-RCNN目标检测模型，检测视频中的人物对象，并保存人物检测框的坐标信息，包括检测框中心坐标和长宽信息；
S15、加载HRNet人体姿态估计模型，根据步骤S14中的检测框的坐标信息，提取人体异常坐姿的骨骼关键点信息；将视频样本连续帧间不同帧中相同的骨骼关键点连接起来，构成人体数据；使每个视频样本构成一个骨骼关键点时空序列文件；
S16、将所述人体姿态估计模型输出的每个骨骼关键点时空序列文件，根据异常坐姿种类放置在不同的文件夹中，作为人体骨骼关键点时空序列数据；
S17、读取每个骨骼关键点时空序列文件，选取右小腿、左小腿和脊柱3个骨骼向量，根据两向量夹角的余弦公式，计算每个样本中每一帧中的3个骨骼向量与坐标轴的夹角；根据帧的顺序构建每个样本的局部骨骼夹角时空序列数据，使每个样本构成一个局部骨骼夹角时空序列文件；
S18、将每个局部骨骼夹角时空序列文件，根据异常坐姿的种类放置在不同的文件夹中，作为局部骨骼夹角时空序列数据；
S19、将人体人体异常坐姿的骨骼关键点时空序列数据和局部骨骼夹角时空序列数据，作为蕴含多维度特征的人体异常坐姿训练数据集，所述数据集分割为训练集、验证集以及测试集。
S2、首先，根据所述人体姿态估计模型，构建了基于图卷积神经网络的人体异常坐姿多时空尺度特征提取模型，提取人体异常坐姿骨骼关键点时空序列的特征；然后，为了提取人体异常坐姿局部骨骼夹角序列的特征，构建基于循环神经网络的人体异常坐姿局部骨骼夹角特征提取模型；最后，为了提高异常坐姿的识别准确率，采用线性加权的特征融合方式，将所述两个特征提取模型提取的特征进行融合，并结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型，具体包括：
S21、所述基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型，包括时空特征提取模块、双时空尺度特征融合模块、多时空尺度特征融合模块；
所述时空特征提取模块由多个时空图卷积单元构成，该模块输入为骨骼关键点时空序列；每个时空图卷积单元先进行空域图卷积聚合节点信息并改变通道数，空域图卷积提取空间特征；时空特征提取模块输出维度为128×40×17的特征张量；
所述双时空尺度特征融合模块，该模块的输入分别是维度为64×40×17的特征张量和维度为32×20×17的特征张量，由维度为128×40×17的特征张量进行时空图卷积和下采样操作，并根据通道数和帧的总长度进行特征融合操作，输出双时空尺度特征；
所述多时空尺度特征融合模块，在该模块中，根据通道数和帧的总长度，将双时空尺度特征进行时空图卷积和下采样操作获得输入流，进行特征融合操作，输出多时空尺度骨骼关键点特征；
S22、对多时空尺度骨骼关键点特征进行2次时空图卷积操作、平均池化和全连接操作，进而得到多时空尺度骨骼关键点特征；
S23、人体异常坐姿的局部骨骼夹角时空序列是一个短序列，为了降低计算复杂度，缩短模型的运行时间，构建基于循环神经网络的人体异常坐姿局部骨骼角特征提取模型，该模型的输入为人体异常坐姿的局部骨骼夹角时间序列，对局部骨骼夹角时间序列特征提取层的输出进行拼接、变换后，输入全连接层，最终输出人体异常坐姿的局部骨骼夹角特征；
S24、为了提高异常坐姿的识别准确率，采用线性加权的融合方式，设置特征融合权重系数，融合多时空尺度骨骼关键点特征提取模型和局部骨骼夹角特征提取模型提取的多时空尺度骨骼关键点特征和局部骨骼夹角特征，获得融合特征；
S25、将获得的融合特征，输入至softmax函数获得人体异常坐姿类别概率分布，输出人体异常坐姿类别；结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型；
S3、识别异常坐姿种：采用Faster-RCNN目标检测模型、HRNet人体姿态估计模型、人体异常坐姿识别神经网络模型，预测异常坐姿种类，具体包括：
S31、加载Faster-RCNN目标检测模型、HRNet人体姿态估计模型、人体异常坐姿识别神经网络模型；
S32、输入需识别的视频，根据步骤S1中人体异常坐姿数据的获取步骤，得到人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据；
S33、将步骤S32中获取的数据作为人体异常坐姿识别神经网络模型的输入，预测不同坐姿种类的概率；
S34、取概率最大值对应的坐姿作为输入视频的异常坐姿种类。
一种基基于深度学习的坐姿识别系统，包括人体异常坐姿识别检测模块、人体久坐行为判定模块；
所述人体异常坐姿识别检测模块包括Web前端识别结果展示界面、后台坐姿识别模型；该模块使用摄像头采集人体坐姿变化的视频数据，将获取的视频输入所述目标检测模块；在目标检测模块检测到人体后，将检测结果输入所述人体姿态估计模块，获取骨骼关键点时空序列，即人体骨骼关键点信息；最后通过所述人体异常坐姿识别神经网络模型进行识别，并提醒用户纠正坐姿；
所述人体久坐行为判定模块包括智能坐垫、后台久坐判定模型、前端展示界面；基于智能坐垫的人体久坐行为判定模块，采用时间阈值对用户的久坐行为进行判定，当超过阈值时，系统提醒用户久坐时间过长，应起身活动；为了观察用户在久坐过程中各项生理指标的变化情况，记录用户的呼吸和心跳强度数据，将用户的个人信息与智能坐垫采集的生理信号数据进行关联和存储，最后在系统前端显示用户各项生理指标在久坐过程中的波动情况。
上述基于深度学习的坐姿识别方法，其中：在步骤S11中，所述划分人体异常坐姿的种类，包括：弯腰驼背、后仰、左斜靠、右斜靠、翘左腿、翘右腿。
上述基于深度学习的坐姿识别方法，其中：在步骤S13中，所述对视频样本进行切帧或补帧处理，帧数统一为80帧。
上述基于深度学习的坐姿识别方法，其中：在步骤S21中，所述时空特征提取模块由3个时空图卷积单元构成。
上述基于深度学习的坐姿识别方法，其中：在步骤S21中，所述在双时空尺度特征融合模块中，根据通道数和帧的总长度进行特征融合操作，所述通道数为32、64，所述帧的总长度为20、40。
上述基于深度学习的坐姿识别方法，其中：在步骤S21中，所述在双时空尺度特征融合模块中，根据通道数和帧的总长度进行特征融合操作，所述融合操作为上采样或下采样操作；所述上采样采用最近邻插值算法实现、所述下采样运用池化操作实现。
上述基于深度学习的坐姿识别方法，其中：在步骤S21中，所述在多时空尺度特征融合模块中，所述通道数为16、32、64，所述帧的总长度为10、20、40。
上述基于深度学习的坐姿识别方法，其中：在步骤S21中，所述在多时空尺度特征融合模块中，输出3个多尺度时空特征，运用时空图卷积和上采样变换成64×40×17的特征张量，经特征融合后，输出多时空尺度骨骼关键点特征。
上述基于深度学习的坐姿识别方法，其中：在步骤S24中，所述设置特征融合权重系数为0.55。
上述基于深度学习的坐姿识别系统，其中：采用时间阈值为45分钟。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，
1)针对当前研究工作中构建的人体异常坐姿数据集存在特征缺失的问题。本发明充分利用人体异常坐姿的空间维度、时间维度以及全身骨骼点特征，构建了一个蕴含多维度特征的人体异常坐姿数据集。该数据集包含人体骨骼关键点时空序列数据和人体局部骨骼夹角序列数据，保证了本发明所提出的人体异常坐姿数据集特征的完整性。
2)根据上述构建的人体异常坐姿数据集，为了减少异常坐姿特征的丢失，根据HRNet模型的子网结构，基于ST-GCN的特征提取模块，构建了基于图卷积神经网络的多时空尺度特征提取模型以提取人体异常坐姿中的骨骼关键点特征；为了提取人体异常坐姿的局部骨骼夹角序列特征，本发明构建了基于循环神经网络的人体局部骨骼夹角特征提取模型。最后，为了提高识别准确率，采用线性加权的特征融合方式将上述两个模型提取的特征进行融合，实现了对人体异常坐姿的识别。
3)基于本发明的坐姿识别系统，该系统主要由人体异常坐姿识别检测模块和人体久坐行为判定模块组成。一方面，根据本发明提出的人体异常坐姿识别方法，将训练好的模型进行PC端的部署，后端模型通过对Azure Kinect摄像头捕捉的人体异常坐姿视频流进行处理与分析，在系统前端界面显示人体异常坐姿的处理与识别结果；另一方面，在人体久坐行为判定模块中，本发明使用智能坐垫采集人体呼吸、心率等生理数据，基于时间阈值识别人体久坐行为，在前端界面显示识别结果并展示久坐过程中用户相关生理信号的波动情况。基于该系统的两个模块，本发明实现了对人体异常坐姿和久坐行为的识别与检测。
总之，本发明具有不易丢失坐姿特征、人体异常坐姿识别准确性高的特点。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的总体流程图；
图2为本发明方法的人体骨骼关键点时空序列示例；
图3为本发明方法的基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型的结构图；
图4为本发明方法的基于循环神经网络的人体异常坐姿局部骨骼夹角特征提取模型结构图；
图5为本发明系统的人体异常坐姿识别检测模块工作流程；
图6为本发明系统的人体久坐判定模块工作流程。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的一种基于深度学习的坐姿识别方法及系统的具体实施方式、特征及其功效，详细说明如后。
参见图1，本发明的一种基于深度学习的坐姿识别方法，其中：该方法包括如下步骤：
S1、采集人体坐姿从正常转变为异常的视频数据，构建蕴含多维度特征的人体异常坐姿训练数据集；具体包括：
S11、划分人体异常坐姿的种类(类别)，包括：弯腰驼背、后仰、左斜靠、右斜靠、翘左腿、翘右腿；
S12、获取人体异常坐姿视频并标注不同的异常坐姿种类；
S13、根据人体异常坐姿的种类，将视频数据放在不同的文件夹下，通过脚本程序对视频样本进行切帧或补帧处理，帧数统一为80帧，再读取不同文件夹下的视频数据；
S14、加载Faster-RCNN目标检测模型，检测视频中的人物对象，并保存人物检测框的坐标信息，包括检测框中心坐标和长宽信息；
S15、加载HRNet人体姿态估计模型，根据步骤S14中的检测框信息，提取人体异常坐姿的骨骼关键点信息；将视频样本连续帧间不同帧中相同的骨骼关键点连接起来，构成人体数据；使每个视频样本构成一个骨骼关键点时空序列文件，如图2所示；
S16、将HRNet模型输出的骨骼关键点时空序列文件根据异常坐姿种类放置在不同的文件夹中；
S17、读取每个骨骼关键点时空序列文件，选取右小腿、左小腿和脊柱3个骨骼向量，根据两向量夹角的余弦公式，计算每个样本中每一帧中的3个骨骼向量与坐标轴x和y的夹角；根据帧的顺序构建每个样本的局部骨骼夹角时空序列数据，使每个样本构成一个局部骨骼夹角时空序列文件；
S18、将每个局部骨骼夹角时空序列文件根据异常坐姿的种类放置在不同的文件夹中；
S19、将数据集分割为训练集、验证集以及测试集。
S2、将时空图卷积与HRNet模型结构相结合，设计基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型，捕捉时域维度上的特征；所述基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型，结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型，具体包括：
S21、参见图3，所述基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型，包括时空特征提取模块、双时空尺度特征融合模块、多时空尺度特征融合模块；
所述时空特征提取模块由3个时空图卷积单元构成，模块输入为骨骼关键点时空序列；每个时空图卷积单元先进行空域图卷积聚合节点信息并改变通道数；空域图卷积提取空间特征fs的计算公式如下：
式中，sq为骨骼关键点序列样本(sq∈RC×T×V，C为通道数，T为帧数，V为骨骼关键点数)；Mn为l×V×V的注意力参数矩阵；为Cout×Cin×1×1的参数矩阵，Cout为输出通道数，Cin为输入通道数；An是基于子图划分方法得到的邻接矩阵子集；Nv表示邻接矩阵子集个数；表示矩阵元素对位相乘。之后，将空域图卷积提取的空间特征fs作为时间卷积的输入，每个通道下第i帧第j个骨骼关键点经卷积提取的时域特征ft(i，j)的公式为
式中，0≤i＜T+8，0≤j＜V。w为时间卷积核参数矩阵(9×1)，σ为sigmod激活函数。时空特征提取模块结束后将获得维度为128×40×17的特征张量fts。
所述双时空尺度特征融合模块，该模块的输入分别是和 和/>由fts进行时空图卷积和下采样操作而得到的特征张量。按公式3进行特征融合操作，输出双时空尺度特征/>
式中，通道数p∈{32，64}；帧的总长度q∈{20，40}；F为融合函数，若第k个输入的特征张量的通道数和帧数不等于下一个操作的通道数和帧数，则F函数表示上采样或下采样操作，以获得符合下一个操作要求的通道数和帧数。采用最近邻插值算法实现上采样，运用池化操作实现下采样。若第k个输入/>的通道数和帧数等于下一阶段的通道数和帧数，则F函数表示时空图卷积操作。
所述多时空尺度特征融合模块，在该模块中，根据道数和帧数，将进行时空图卷积和下采样操作获得输入流，然后按公式(4)进行特征融合操作，输出多时空尺度特征/>
式中，通道数P∈{16，32，64}；帧的总长度Q∈{10，20，40}。
公式(4)输出的3个多尺度时空特征，运用时空图卷积和上采样变换成64×40×17的特征张量，经特征融合后，输出多时空尺度骨骼关键点特征。
S22、对多时空尺度骨骼关键点特征进行2次时空图卷积操作、平均池化和全连接操作，进而得到多时空尺度骨骼关键点特征模型Fspatiotemporal。
S23、参见图4，人体异常坐姿的骨骼夹角时空序列是一个短序列，为了降低计算复杂度，缩短模型的运行时间，构建基于循环神经网络的局部骨骼角特征提取模型，该模型的输入为人体异常坐姿局部骨骼夹角时间序列，夹角时间序列特征提取层中每一个单元计算公式为：
式中，i∈{1，2，3}表示时序特征提取层的层序号；t∈{1，2，...，80}表示时间步；表示第i层t时刻的骨骼夹角状态特征；Ui-1表示骨骼夹角特征的状态变换矩阵；Vi表示用以建立第i层内单元之间联系的权重矩阵。当i＝1时，/>则表示t时刻的局部骨骼夹角向量输入Θt，U0∈R32×6。而U1，U2∈R32×32，Vi∈R32×32，f为Relu激活函数。
S24、对夹角时间序列特征提取层的输出进行拼接、变换后，输入全连接层，最终输出人体异常坐姿局部骨骼夹角特征模型Fangle。
S25、为了提高异常坐姿的识别准确率，采用线性加权的融合方式，融合Fspatiotemporal和Fangle提取的不同特征，即多时空尺度骨骼关键点特征Fs和局部骨骼夹角特征Fa，公式为：
Ffusion＝[αFs+(1-α)Fa] (6)
式中，α∈[0，1]表示特征融合权重系数，用于平衡骨骼关键点特征和局部骨骼夹角特征的重要程度，设α＝0.55。
S3、采用Faster-RCNN目标检测算法、HRNet人体姿态估计算法以及训练好的神经网络模型预测异常坐姿种类，具体包括：
S31、加载Faster-RCNN目标检测模型、HRNet人体姿态估计模型以及训练好的人体异常坐姿识别神经网络模型；
S32、输入视频，根据步骤S1中人体异常坐姿数据的获取步骤，得到人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据；
S33、将步骤S32中获取的数据作为人体异常坐姿分类模型的输入，该模型将预测不同坐姿类别的概率；
S34、取概率最大值对应的坐姿作为输入视频的异常坐姿类别。
一种基于深度学习的坐姿识别系统，包括人体异常坐姿识别检测模块、人体久坐行为判定模块；
所述人体异常坐姿识别检测模块包括Web前端识别结果展示界面、后台坐姿识别模型。其中，识别结果展示界面主要包含人体目标检测结果显示、人体姿态估计结果显示以及异常坐姿识别结果显示。该模块具体实现流程如图5所示。
首先，该模块使用Azure Kinect摄像头采集人体坐姿变化的视频数据，将获取的视频输入目标检测模块，通过选择不同的目标检测算法，用户可以对比检测效果；其次，在目标检测模块检测到人体后，将检测结果输入人体姿态估计模块，通过不同的算法实现人体姿态的估计结果，获取人体骨骼关键点信息；最后通过不同的异常坐姿识别算法对人体坐姿进行识别，并提醒用户纠正坐姿。
所述人体久坐行为判定模块由智能坐垫、后台久坐判定模型以及前端展示界面组成。该模块的运行流程如图6所示。
基于智能坐垫的人体久坐行为判定模块，采用时间阈值对用户的久坐行为进行判定，当超过阈值时，系统提醒用户久坐时间过长，应起身活动。为了观察用户在久坐过程中各项生理指标的变化情况，采用基于MySQL数据库管理工具Navicat，记录用户的呼吸和心跳波动数据。首先，使用Navicat创建生理信号数据库，字符集采用“utf8”格式，排序规则采用“utf8_general_ci”模式；其次，在创建的数据库中新建数据表，添加“name”，“age”，“height”，“weight”，“heart_singal”以及“breath_singal”6个字段，将用户的个人信息以及智能坐垫采集的生理信号数据依照上述字段导入数据表，完成人体久坐行为生理信号数据的存储。最后，在系统前端显示用户各项生理指标在久坐过程中的波动情况。
所述基于智能坐垫，本发明采集了人体久坐过程中的呼吸、心跳强度数据，并在系统的前端界面对其波动情况进行了展示，在系统界面的左下角则显示了用户在久坐过程中特定时刻的BCG波形信号、呼吸波形信号以及心率波形信号。当用户久坐时长超过45分钟时，系统会进行提示，提醒用户久坐时间过长，需起身活动。
所述基于深度学习的坐姿识别系统的工作流程为：
系统的输入为：视频流Vreal，多时空尺度骨骼关键点特征模型FSpatiotemporal和局部骨骼夹角特征模型Fangle，人体坐姿类别集合C∈{弯腰驼背、后仰、左斜靠、右斜靠、翘左腿以及翘右腿}；
系统的输出为：人体异常坐姿类别识别结果Creal，用户久坐时长Treal；
步骤1：初始化模型参数，加载多时空尺度骨骼关键点特征模型FSpatiotemporal和局部骨骼夹角特征模型Fangle。时间序列位置
步骤2：按80帧的规模读取摄像头视频流Vreal；
步骤3：智能坐垫检测到人体生理信号，开始计时；
步骤4：如果读入帧数量为80(即Vreal＝f1f2…fk…f80)，转入步骤5，否则转入步骤12；
步骤5：将Vreal对应的时间赋值给T，调用Faster-RCNN目标检测算法，HRNet人体姿态估计算法，获取Vreal的人体骨骼关键点时空序列s′q；
步骤6：根据时空序列s′q计算获得人体局部骨骼夹角序列θ′q；
步骤7：根据s′q和FSpatiotemporal计算获得多时空尺度骨骼关键点特征Fs；
步骤8：根据θ′q和Fangle计算获取局部骨骼夹角特征Fa；
步骤9：融合多时空尺度骨骼关键点特征Fs与局部骨骼夹角特征Fa输出融合特征Ffusion；
步骤10：将Ffusion输入至softmax函数获得人体异常坐姿类别概率分布，输出人体坐姿类别creal；
步骤11：if creal∈C，则构建序列对(creal，T)，且Creal＝(creal，T)。转步骤2；步骤12：转到步骤2；
步骤13：当Treal≥45分钟时，系统前端界面提醒用户；
步骤14：输出Creal，Treal。
步骤1中，需要初始化的参数包括目标检测算法Faster-RCNN的参数，人体姿态估计算法HRNet的参数，人体骨骼关键点分布和邻接矩阵划分方式，检测人数初始化为1，FSpatiotemporal模型参数以及Fangle模型参数。
步骤5中，首先，获取所有视频样本Vreal第k帧图像fk的17个人体骨骼关键点二维绝对坐标和坐标置信度集合然后，在获得样本Vreal所有帧的人体骨骼关键点坐标集合之后，根据连续帧间不同帧中相同关键点连接起来，构成样本Vreal的人体骨骼关键点时空图序列s′q＝C1C2…Ck…C80。
步骤9中的特征融合公式为式(6)所示。
应用效果分析：
1)人体异常坐姿识别检测模块应用分析
为了测试人体异常坐姿识别检测模块工作的可靠性和有效性，邀请10位测试用户进行该模块的测试，每位志愿者在Azure Kinect摄像头前分别展示6类不同的异常坐姿，视频数据经过目标检测单元、人体姿态估计单元以及人体异常坐姿识别单元处理后，系统在前端界面显示处理结果并提醒用户改正坐姿。
从系统的测试结果可以看出：对10位用户的60个异常坐姿案例，人体异常坐姿识别检测模块可以准确识别出58个异常坐姿案例，识别准确率达到了96.67％，即系统可有效识别出人体异常坐姿并反馈给用户准确的结果。
2)人体久坐行为判定模块应用分析
表1人体久坐判定模块应用测试结果
为了测试系统的人体久坐行为判定模块工作的可靠性，邀请了3位测试用户进行该模块的测试，三位用户使用智能坐垫进行工作和学习，当久坐时长超过系统设定的时间阈值45分钟后，该模块自动提醒用户久坐时间过长。表1显示了3位用户的测试结果，从测试结果来看，该模块可以根据系统设定的时间阈值准确判定人体久坐行为，用户满意度的均值达到了81.67。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于深度学习的坐姿识别方法，其特征在于：该方法包括如下步骤：
S1、构建人体异常坐姿训练数据集：采集人体坐姿从正常转变为异常的视频数据，构建包含人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据的多维度特征的人体异常坐姿训练数据集；具体包括：
S11、划分人体异常坐姿的种类；
S12、获取人体异常坐姿视频并标注不同的异常坐姿种类；
S13、对视频样本进行切帧或补帧处理；
S14、加载Faster-RCNN目标检测模型，检测视频中的人物对象，并保存人物检测框的坐标信息，包括检测框中心坐标和长宽信息；
S15、加载HRNet人体姿态估计模型，根据步骤S14中的检测框的坐标信息，提取人体异常坐姿的骨骼关键点信息；将视频样本连续帧间不同帧中相同的骨骼关键点连接起来，构成人体数据；使每个视频样本构成一个骨骼关键点时空序列文件；
S16、将所述人体姿态估计模型输出的每个骨骼关键点时空序列文件，根据异常坐姿种类放置在不同的文件夹中，作为人体骨骼关键点时空序列数据；
S17、读取每个骨骼关键点时空序列文件，选取右小腿、左小腿和脊柱3个骨骼向量，根据两向量夹角的余弦公式，计算每个样本中每一帧中的3个骨骼向量与坐标轴x和y的夹角；根据帧的顺序构建每个样本的局部骨骼夹角时空序列数据，使每个样本构成一个局部骨骼夹角时空序列文件；
S18、将每个局部骨骼夹角时空序列文件，根据异常坐姿的种类放置在不同的文件夹中，作为局部骨骼夹角时空序列数据；
S19、将人体人体异常坐姿的骨骼关键点时空序列数据和局部骨骼夹角时空序列数据，作为蕴含多维度特征的人体异常坐姿训练数据集，所述数据集分割为训练集、验证集以及测试集；
S2、构建人体异常坐姿识别神经网络模型：首先，根据所述人体姿态估计模型，构建了基于图卷积神经网络的人体异常坐姿多时空尺度骨骼关键点特征提取模型，提取人体异常坐姿骨骼关键点时空序列的特征；然后，为了提取人体异常坐姿局部骨骼夹角序列的特征，构建基于循环神经网络的人体异常坐姿局部骨骼夹角特征提取模型；最后，为了提高异常坐姿的识别准确率，采用线性加权的特征融合方式，将所述两个特征提取模型提取的特征进行融合，并结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型；具体包括：
S21、所述基于图卷积神经网络的人体异常坐姿多时空尺度骨骼点特征提取模型，包括时空特征提取模块、双时空尺度特征融合模块、多时空尺度特征融合模块；
所述时空特征提取模块由多个时空图卷积单元构成，该模块输入为骨骼关键点时空序列；每个时空图卷积单元先进行空域图卷积聚合节点信息并改变通道数，空域图卷积提取空间特征；再经过时间卷积提取时域特征；时空特征提取模块输出维度为128´40´17的特征张量；
所述双时空尺度特征融合模块，该模块的输入分别是维度为64´40´17的特征张量和维度为32´20´17的特征张量，由维度为128´40´17的特征张量进行时空图卷积和下采样操作，并根据通道数和帧的总长度进行特征融合操作，输出双时空尺度特征；
所述多时空尺度特征融合模块，在该模块中，根据通道数和帧的总长度，将双时空尺度特征进行时空图卷积和下采样操作获得输入流，进行特征融合操作，输出多时空尺度骨骼关键点特征；
S22、对多时空尺度骨骼关键点特征进行2次时空图卷积操作、平均池化和全连接操作，进而得到多时空尺度骨骼关键点特征；
S23、人体异常坐姿的局部骨骼夹角时空序列是一个短序列，为了降低计算复杂度，缩短模型的运行时间，构建基于循环神经网络的人体异常坐姿局部骨骼夹角特征提取，该模型的输入为人体异常坐姿的局部骨骼夹角时间序列，对局部骨骼夹角时间序列特征提取层的输出进行拼接、变换后，输入全连接层，最终输出人体异常坐姿的局部骨骼夹角特征；
S24、为了提高异常坐姿的识别准确率，采用线性加权的融合方式，设置特征融合权重系数，融合所述的多时空尺度骨骼关键点特征提取模型和局部骨骼夹角特征提取模型提取的多时空尺度骨骼关键点特征和局部骨骼夹角特征，获得融合特征；
S25、将所述的融合特征，输入至softmax函数获得人体异常坐姿类别概率分布，输出人体异常坐姿类别；结合人体异常坐姿训练数据集，进行训练，获得人体异常坐姿识别神经网络模型；
S3、识别异常坐姿种类：采用Faster-RCNN目标检测模型、HRNet人体姿态估计模型、人体异常坐姿识别神经网络模型，预测异常坐姿种类；具体包括：
S31、加载Faster-RCNN目标检测模型、HRNet人体姿态估计模型、人体异常坐姿识别神经网络模型；
S32、输入需识别的视频，根据步骤S1中人体异常坐姿数据的获取步骤，得到人体骨骼关键点时空序列数据和局部骨骼夹角时空序列数据；
S33、将步骤S32中获取的数据作为人体异常坐姿识别神经网络模型的输入，预测不同坐姿种类的概率；
S34、取概率最大值对应的坐姿作为输入视频的异常坐姿种类。
2.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S11中，所述划分人体异常坐姿的种类，包括：弯腰驼背、后仰、左斜靠、右斜靠、翘左腿、翘右腿。
3.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S13中，所述对视频样本进行切帧或补帧处理，帧数统一为80帧。
4.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S21中，所述时空特征提取模块由3个时空图卷积单元构成。
5.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S21中，在所述双时空尺度特征融合模块中，根据通道数和帧的总长度进行特征融合操作，所述通道数为32、64，所述帧的总长度为20、40。
6.如权利要求1至5任一项所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S21中，在所述双时空尺度特征融合模块中，根据通道数和帧的总长度进行特征融合操作，所述融合操作为上采样或下采样操作；所述上采样采用最近邻插值算法实现、所述下采样运用池化操作实现。
7.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S21中，在所述多时空尺度特征融合模块中，所述通道数为16、32、64，所述帧的总长度为10、20、40。
8.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S21中，在所述多时空尺度特征融合模块中，输出3个多尺度时空特征，运用时空图卷积和上采样变换成64´40´17的特征张量，经特征融合后，输出多时空尺度骨骼关键点特征。
9.如权利要求1所述的基于深度学习的坐姿识别方法，其特征在于：在步骤S24中，所述设置特征融合权重系数为0.55。
10.如权利要求1所述方法的基于深度学习的坐姿识别系统，其特征在于：包括：人体异常坐姿识别检测模块、人体久坐行为判定模块；
所述人体异常坐姿识别检测模块包括Web前端识别结果展示界面、后台坐姿识别；该模块使用摄像头采集人体坐姿变化的视频数据，将获取的视频输入所述目标检测模型，在检测到人体后，将检测结果输入所述人体姿态估计模型，获取人体骨骼关键点信息和骨骼关键点时空序列，通过所述人体异常坐姿识别神经网络模型进行后台坐姿识别；最后，将识别结果展现在Web前端识别结果展示界面，并提醒用户纠正坐姿；
所述人体久坐行为判定模块包括智能坐垫、后台久坐判定模型、前端展示界面；基于智能坐垫的人体久坐行为判定模块，采用时间阈值对用户的久坐行为进行判定，当超过阈值时，系统提醒用户久坐时间过长，应起身活动；为了观察用户在久坐过程中各项生理指标的变化情况，记录用户的呼吸和心跳强度数据，将用户的个人信息与智能坐垫采集的生理信号数据进行关联和存储，最后在系统前端展示界面显示用户各项生理指标在久坐过程中的波动情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310458735.8A CN116645721B (zh) | 2023-04-26 | 2023-04-26 | 基于深度学习的坐姿识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310458735.8A CN116645721B (zh) | 2023-04-26 | 2023-04-26 | 基于深度学习的坐姿识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116645721A CN116645721A (zh) | 2023-08-25 |
| CN116645721B true CN116645721B (zh) | 2024-03-15 |
Family
ID=87614391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310458735.8A Active CN116645721B (zh) | 2023-04-26 | 2023-04-26 | 基于深度学习的坐姿识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116645721B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854155B (zh) * | 2024-03-07 | 2024-05-14 | 华东交通大学 | 一种人体骨骼动作识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191599A (zh) * | 2019-12-27 | 2020-05-22 | 平安国际智慧城市科技股份有限公司 | 姿态识别方法、装置、设备及存储介质 |
| CN114255508A (zh) * | 2020-09-21 | 2022-03-29 | 西安邮电大学 | 一种基于OpenPose的学生体态检测分析及效率评估方法 |
| CN115424346A (zh) * | 2022-09-01 | 2022-12-02 | 珠海格力电器股份有限公司 | 一种人体坐姿检测方法、装置、计算机设备及系统 |
-
2023
- 2023-04-26 CN CN202310458735.8A patent/CN116645721B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191599A (zh) * | 2019-12-27 | 2020-05-22 | 平安国际智慧城市科技股份有限公司 | 姿态识别方法、装置、设备及存储介质 |
| CN114255508A (zh) * | 2020-09-21 | 2022-03-29 | 西安邮电大学 | 一种基于OpenPose的学生体态检测分析及效率评估方法 |
| CN115424346A (zh) * | 2022-09-01 | 2022-12-02 | 珠海格力电器股份有限公司 | 一种人体坐姿检测方法、装置、计算机设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116645721A (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测系统 | |
| CN110464366A (zh) | 一种情绪识别方法、系统及存储介质 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN111814661A (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| CN111599438B (zh) | 一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法 | |
| CN109508755B (zh) | 一种基于图像认知的心理测评方法 | |
| CN116645721B (zh) | 基于深度学习的坐姿识别方法及系统 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
| CN111466878A (zh) | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 | |
| CN112257728A (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| CN111814718A (zh) | 一种融合多种判别技术的注意力检测方法 | |
| CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
| Maheshwari et al. | Performance Analysis of Mango Leaf Disease using Machine Learning Technique | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 | |
| CN117137435A (zh) | 一种基于多模态信息融合的康复动作识别方法和系统 | |
| CN113591797B (zh) | 一种深度视频行为识别方法 | |
| CN112561935B (zh) | 一种大脑影像智能分类方法、装置和设备 | |
| Peng | Research on Emotion Recognition Based on Deep Learning for Mental Health | |
| CN114359785A (zh) | 基于自适应矩阵特征融合网络的唇语识别方法、装置及电子设备 | |
| CN114795246A (zh) | 基于脑区局部-全局注意力的脑电情感分类方法及系统 | |
| CN114882580A (zh) | 一种基于深度学习的运动动作一致性的度量方法 | |
| Wang et al. | Calorific expenditure estimation using deep convolutional network features | |
| Albuquerque et al. | Remote Pathological Gait Classification System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |