CN110826453A - 一种通过提取人体关节点坐标的行为识别方法 - Google Patents

一种通过提取人体关节点坐标的行为识别方法 Download PDF

Info

Publication number
CN110826453A
CN110826453A CN201911045944.XA CN201911045944A CN110826453A CN 110826453 A CN110826453 A CN 110826453A CN 201911045944 A CN201911045944 A CN 201911045944A CN 110826453 A CN110826453 A CN 110826453A
Authority
CN
China
Prior art keywords
data set
behavior recognition
training
joint point
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911045944.XA
Other languages
English (en)
Other versions
CN110826453B (zh
Inventor
卢健
马成贤
周嫣然
贾旭瑞
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN201911045944.XA priority Critical patent/CN110826453B/zh
Publication of CN110826453A publication Critical patent/CN110826453A/zh
Application granted granted Critical
Publication of CN110826453B publication Critical patent/CN110826453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种通过提取人体关节点坐标的行为识别方法，具体包括如下步骤：步骤1，构建行为识别图像数据集；步骤2，根据步骤1所得结果构建对应行为识别图像数据集的关节点训练样本数据集；步骤3，根据步骤2所得结果构建基于RNN(LSTM)的行为识别深度学习模型；步骤4，设置训练参数；步骤5，对步骤3所得模型进行训练；步骤6，对步骤3所得模型进行测试。本发明通过基于深度学习的姿态估计框架Openpose来提取对应人体关节点坐标信息来，然后利用RNN(LSTM)来挖掘人体关节点位置信息与挖掘人体关节点间的共观性，可以实时准确检测人体异常行为。

Description

一种通过提取人体关节点坐标的行为识别方法
技术领域
本发明属于人工智能技术领域，涉及一种通过提取人体关节点坐标的行为识别方法。
背景技术
随着人工智能和互联网技术的飞速发展，人们作为社会活动的主体，人类日常行为变化是视频监控系统下被关注的主体，通过视频实时提取人体行为活动，做到计算机自动检测人体异常行为，可以更好地实现智能化生活。迄今为止，人体行为识别技术的研究不断被应用于军事、医疗、监控等。例如：高考考场防作弊监控系统来预防学生作弊；智能化养老房间看护系统通过对老人日常生活的监控，来监测老人异常摔倒等对身体危害较大的情况发生；以及人机交互系统、智慧医疗系统、虚拟现实(VR)等应用领域中。
目前人体行为识别技术的研究主要通过在视频样本数据中提取能够准确表达人体行为变化的特征信息，然后通过挖掘融合视频的时间序列信息训练深度学习网络来实现视频信息的人体行为识别。但是，由于网络学习特征依赖于数据量、并且人体行为活动具有灵活性，直接通过视频提取行为变化的特征信息，不利于对人体发生的异常行为进行检测，并且人体日常某个行为常常和一些关节点构成的集合和关节点间的交互密切相关，为此，通过提取人体关节点位置信息、以及人体关节点间的联系(共观性)来对行为异常行为进行描述，可以更好地表达人体行为变化。
发明内容
本发明的目的是提供一种通过提取人体关节点坐标的行为识别方法，该方法通过基于深度学习的姿态估计框架Openpose来提取对应人体关节点坐标信息来，然后利用循环神经网络(Recurrent Neural Network,RNN)，本发明采用长短时记忆神经网络(LongShort-Term Memory,LSTM)来挖掘人体关节点位置信息与挖掘人体关节点间的共观性，可以实时准确检测人体异常行为。
本发明所采用的技术方案是，一种通过提取人体关节点坐标的行为识别方法，具体包括如下步骤：
步骤1，构建行为识别图像数据集；
步骤2，根据步骤1所得结果构建对应行为识别图像数据集的关节点训练样本数据集；
步骤3，根据步骤2所得结果构建基于RNN的行为识别深度学习模型；
步骤4，设置训练参数；
步骤5，根据步骤4设置的参数对步骤3所得模型进行训练；
步骤6，对步骤3所得模型进行测试。
本发明的特点还在于，
步骤1的具体过程如下：通过摄像头实时自采集各类行为动作，并按类别进行动作分类，构建行为识别图像数据集。
步骤2的具体过程如下：以步骤1所得的行为识别图像数据集为输入，通过基于深度学习的姿态估计框架Openpose来提取对应人体的18个关节点坐标信息，从而以18个关节点位置坐标信息构建训练样本数据集。
步骤3的具体过程如下：
步骤3.1，将步骤2构建的训练样本数据集划分为训练数据集和测试数据集；
步骤3.2：以步骤3.1划分的训练集和测试集作为网络训练和模型评估数据集，选择深度学习开源框架构建识别深度学习模型。
步骤3.1的具体过程为：训练样本数据集划分方法包括如下两种：
其一：手动分离数据集并评估；
其二：k折交叉验证；
步骤A，将数据集划分为k个子数据集；然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集，
步骤B，重复进行步骤A，直至所有子数据集都能够作为测试集对网络进行评估，最后对k个评估结果进行求平均，平均值作为模型测试的最终评估结果。
步骤3.2的具体过程如下：
步骤3.2.1，设置网络输入维度并添加网络层LSTM；将每一层LSTM神经元设置与输入的关节点数一致；
步骤3.2.2，将输入的每一关节点分别与第一个网络层18个LSTM神经元直接连接；
步骤3.2.3将第一个网络层输出与第二个网络层18个神经元进行直连，依次递推，直至将所添加的各网络层依次逐层连接直连完毕，通过对逐层输入进行共观性学习，来预测每一动作类别与关节点间的联系；最后一层网络层输入直接输入Softmax分类器；
步骤3.2.4，指定网络训练损失函数和优化器。
步骤5的具体过程为：以步骤3.1划分数据集为网络训练数据集，对步骤3.2构建的行为识别网络进行模型训练。
步骤6的具体过程为：基于视频的实时测试通过计算机视觉库Opencv 进行实时获取人体行为变化，读取每一帧视频图像作为基于深度学习的姿态估计框架Openpose的输入，来实时提取变化的人体行为关节点坐标信息，然后以关节点坐标为步骤3.2的输入，提取坐标信息，同时调用步骤5训练后的保存模型，来预测每一帧图像行为类别并输出类别标签。
本发明的有益效果是，本发明通过提取人体关节点坐标的行为识别方法考虑了人体动作发生变化时与一些关节点构成的集合和关节点间的关联性；并且比起提取视频能够表达人体行为变化的特征信息，通过提取人体关节点位置坐标进行人体行为描述可以更好地处理人体行为变化地视频序列信息。
附图说明
图1是本发明一种通过提取人体关节点坐标的行为识别方法的流程图；
图2是本发明一种通过提取人体关节点坐标的行为识别方法中基于深度学习的姿态估计框架Openpose提取人体18个关节点分布图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种通过提取人体关节点坐标的行为识别方法，如图1所示，具体包括如下步骤：
步骤1，构建行为识别图像数据集。
通过摄像头实时自采集各类行为动作，并按类别进行动作分类，构建行为识别图像数据集。
图像数据集采集方式有两种：直接拍摄各类动作图片进行归一化处理 (将图像大小归一化为ZxZ)和通过拍摄各类动作视频后然后读取每一帧视频图像并保存。
步骤2，构建对应行为识别图像数据集的关节点训练样本数据集。
以步骤1所获得的行为识别图像数据集为输入，通过基于深度学习的姿态估计框架Openpose提取人体的18个关节点坐标信息，构建对应行为标签的关节点坐标信息数据集。以步骤1行为识别图像数据集为输入，通过基于深度学习的姿态估计框架Openpose来提取对应人体的18个关节点坐标信息，提取的关节点分布图如图2所示，提取的18个人体关节点信息如表1所示，从而以18个关节点位置坐标信息(对应动作为数据标签)构建训练样本数据集。
表1
Figure BDA0002254143140000051
步骤3：构建基于RNN(LSTM)的行为识别深度学习模型。
以步骤2构建的数据集作为网络训练和模型评估数据集，根据图1网络结构图，采用深度学习开源框架构建基于RNN(LSTM)的行为识别模型(定义、编译、训练模型)，构建RNN(LSTM)网络结构时，引入关节点与神经元地权重连接(将18个关节点坐标分别与18个LSTM神经元直接连接)，来挖掘关节点间共观性(每一类别动作中不同关节点的重要性，例如举手，主要是肘、手腕、肩的权重比较高)。共观性指的是人体骨骼关节点之间的联系，通过引入关节点与神经元地权重连接，可以根据关节点输入每一神经元所占的权重来挖掘关节点间的共观性。具体构建模型过程如下：
步骤3.1：将步骤2构建的训练样本数据集划分为训练数据集和测试数据集。
划分方法包括：
(1)手动分离数据集并评估；例如，随机取70％的样本数据作为训练数据集，剩余30％作为测试集进行模型评估；
(2)k折交叉验证；首先将数据集划分为k个子数据集；然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集，重复该过程，直至所有子数据集都能够作为测试集对网络进行评估，最后对k个评估结构进行求平均，平均值作为模型测试的最终评估结果。
步骤3.2：以步骤3.1划分的训练集和测试集作为网络训练和模型评估数据集，选择深度学习开源框架(Tensorflow，Keras，Pytorch等)，根据图1 网络结构图构建添加行为识别模型。
具体添加过程为：(1)设置网络输入维度并添加网络层(LSTM)，例如采用深度学习开源框架Tensorflow，API为Keras，直接导入RNN(LSTM) 层，然后进行共观性学习：将每一层RNN(LSTM)神经元设置与输入的关节点数一致(Openpose提取的关节点数为18)，然后将输入的每一关节点分别与第一个网络层18个RNN(LSTM)神经元直接连接(每一关节点坐标分别输入第一个网络层的18个神经元)，LSTM为一种门控结构的长短时记忆单元，可以通过门控选择性地让输入信息通过，所以对于每一类别动作关节点坐标，18个神经元会对不同关节点坐标赋予不同权重(关节点对与每一类别动作的重要程度)；然后将第一个网络层输出与第二个网络层18个神经元进行直连，第三、四……同理，通过对逐层输入进行共惯性学习，来预测每一动作类别与关节点间的联系。最后一层网络层输入直接输入Softmax分类器。
(2)指定网络训练损失函数和优化器。例如，常用的分类损失函数有均方误差(MSE)、交叉熵代价损失函数(Cross Entropy)、铰链损失函数(Hinge) 等；常用的优化器有梯度下降优化算法(SGD等和自适应优化算法(AdaGrad、 RMSProP、Adam等)。
步骤4：参数设置。主要有网络层参数设置和网络训练参数设置：包括训练集大小、输入维度(Input_dim)、神经元个数、训练批次大小(Batch_size)、训练批次周期(Epochs)。
步骤5：网络训练。配置实验环境(操作系统：Linux；内存：7.7GiB；显卡： 2080Ti；深度学习框架：Tensorflow；API：Keras)，步骤4参数设置完成后，以步骤3.1划分数据集为网络训练数据集，对步骤3.2构建的行为识别网络进行模型训练，并保存训练后的模型(例如，keras生成h5)。具体训练过程如下：
(1)网络进行权值初始化；
(2)训练数据集通过数据集划分经过RNN(LSTM)得到输出值；
(3)求出网络的输出值与目标值之间的误差(根据步骤3.2(2)中选取分类损失函数来计算；例如，本发明采用交叉熵损失函数(步骤3.2(2)中的损失函数深度学习框架直接调用)：
其中，yi表示目标值；yi_表示实际输出值。
(4)当误差≥期望值(对应数据标签值)时，将误差传回网络中继续迭代训练(继续取样本进行训练，使误差接近期望值)。当误差≤我们的期望值，结束迭代训练。
(5)将求得误差后进行权值更新，然后再进入到第(2)步，直至模型收敛，损失变化趋于稳定(或者设定训练批次Epochs)。
步骤6：模型预测。
通过训练准确率和预测准确率变化曲线来判断网络学习能力(收敛速度和训练准确率)和模型泛化能力(训练准确率和预测准确率曲线时候持平)。或者通过选用一部分数据集对模型直接测试，以测试准确率或者混淆矩阵来判断模型的鲁棒性。基于视频的实时测试通过计算机视觉库Opencv进行实时获取人体行为变化，读取每一帧视频图像作为基于深度学习的姿态估计框架Openpose的输入，来实时提取变化的人体行为关节点坐标信息，然后以关节点坐标为步骤3.2的输入，提取坐标信息，同时调用步骤5训练后的保存模型，来预测每一帧图像行为类别并输出类别标签。

Claims (8)

1.一种通过提取人体关节点坐标的行为识别方法，其特征在于：具体包括如下步骤：
步骤1，构建行为识别图像数据集；
步骤2，根据步骤1所得结果构建对应行为识别图像数据集的关节点训练样本数据集；
步骤3，根据步骤2所得结果构建基于RNN的行为识别深度学习模型；
步骤4，设置训练参数；
步骤5，根据步骤4设置的参数对步骤3所得模型进行训练；
步骤6，对步骤3所得模型进行测试。
2.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤1的具体过程如下：通过摄像头实时自采集各类行为动作，并按类别进行动作分类，构建行为识别图像数据集。
3.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤2的具体过程如下：以步骤1所得的行为识别图像数据集为输入，通过基于深度学习的姿态估计框架Openpose来提取对应人体的18个关节点坐标信息，从而以18个关节点位置坐标信息构建训练样本数据集。
4.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤3的具体过程如下：
步骤3.1，将步骤2构建的训练样本数据集划分为训练数据集和测试数据集；
步骤3.2：以步骤3.1划分的训练集和测试集作为网络训练和模型评估数据集，选择深度学习开源框架构建识别深度学习模型。
5.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤3.1的具体过程为：训练样本数据集划分方法包括如下两种：
其一：手动分离数据集并评估；
其二：k折交叉验证，具体为：
步骤A，将数据集划分为k个子数据集；然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集，
步骤B，重复进行步骤A，直至所有子数据集都能够作为测试集对网络进行评估，最后对k个评估结果进行求平均，平均值作为模型测试的最终评估结果。
6.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤3.2的具体过程如下：
步骤3.2.1，设置网络输入维度并添加网络层LSTM；将每一层LSTM神经元设置与输入的关节点数一致；
步骤3.2.2，将输入的每一关节点分别与第一个网络层18个LSTM神经元直接连接；
步骤3.2.3将第一个网络层输出与第二个网络层18个神经元进行直连，依次递推，直至将所添加的各网络层依次逐层连接直连完毕，通过对逐层输入进行共观性学习，来预测每一动作类别与关节点间的联系；最后一层网络层输入直接输入Softmax分类器；
步骤3.2.4，指定网络训练损失函数和优化器。
7.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤5的具体过程为：以步骤3.1划分数据集为网络训练数据集，对步骤3.2构建的行为识别网络进行模型训练。
8.根据权利要求1所述的一种通过提取人体关节点坐标的行为识别方法，其特征在于：所述步骤6的具体过程为：基于视频的实时测试通过计算机视觉库Opencv进行实时获取人体行为变化，读取每一帧视频图像作为基于深度学习的姿态估计框架Openpose的输入，来实时提取变化的人体行为关节点坐标信息，然后以关节点坐标为步骤3.2的输入，提取坐标信息，同时调用步骤5训练后的保存模型，来预测每一帧图像行为类别并输出类别标签。
CN201911045944.XA 2019-10-30 2019-10-30 一种通过提取人体关节点坐标的行为识别方法 Active CN110826453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911045944.XA CN110826453B (zh) 2019-10-30 2019-10-30 一种通过提取人体关节点坐标的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911045944.XA CN110826453B (zh) 2019-10-30 2019-10-30 一种通过提取人体关节点坐标的行为识别方法

Publications (2)

Publication Number Publication Date
CN110826453A true CN110826453A (zh) 2020-02-21
CN110826453B CN110826453B (zh) 2023-04-07

Family

ID=69551448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911045944.XA Active CN110826453B (zh) 2019-10-30 2019-10-30 一种通过提取人体关节点坐标的行为识别方法

Country Status (1)

Country Link
CN (1) CN110826453B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310689A (zh) * 2020-02-25 2020-06-19 陕西科技大学 潜在信息融合的家庭安防系统中的人体行为识别的方法
CN111401260A (zh) * 2020-03-18 2020-07-10 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111401270A (zh) * 2020-03-19 2020-07-10 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其系统
CN111723667A (zh) * 2020-05-20 2020-09-29 同济大学 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN111860267A (zh) * 2020-07-13 2020-10-30 浙大城市学院 一种基于人体骨骼关节点位的多通道健身运动识别方法
CN112528733A (zh) * 2020-10-29 2021-03-19 西安工程大学 一种网络的异常行为识别方法
CN112990878A (zh) * 2021-03-30 2021-06-18 北京大智汇领教育科技有限公司 一种教师课堂教学行为实时纠正系统及分析方法
CN113378638A (zh) * 2021-05-11 2021-09-10 大连海事大学 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN113378657A (zh) * 2021-05-24 2021-09-10 汇纳科技股份有限公司 行人组群关系识别方法、装置及系统
CN113609963A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN114152283A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的家庭养老照护床位服务监管系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170344829A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Skeleton -based action detection using recurrent neural network
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US20170344829A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Skeleton -based action detection using recurrent neural network
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110222665A (zh) * 2019-06-14 2019-09-10 电子科技大学 一种基于深度学习和姿态估计的监控中人体动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱凌飞等: "基于骨架模型的人体行为分析", 《电子测量技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310689A (zh) * 2020-02-25 2020-06-19 陕西科技大学 潜在信息融合的家庭安防系统中的人体行为识别的方法
CN111310689B (zh) * 2020-02-25 2023-04-07 陕西科技大学 潜在信息融合的家庭安防系统中的人体行为识别的方法
CN111401260A (zh) * 2020-03-18 2020-07-10 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111401260B (zh) * 2020-03-18 2020-09-29 南通大学 基于Quick-OpenPose模型的仰卧起坐测试计数方法及系统
CN111401270A (zh) * 2020-03-19 2020-07-10 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其系统
WO2021184619A1 (zh) * 2020-03-19 2021-09-23 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其系统
CN111723667A (zh) * 2020-05-20 2020-09-29 同济大学 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN111860267B (zh) * 2020-07-13 2022-06-14 浙大城市学院 一种基于人体骨骼关节点位的多通道健身运动识别方法
CN111860267A (zh) * 2020-07-13 2020-10-30 浙大城市学院 一种基于人体骨骼关节点位的多通道健身运动识别方法
CN112528733A (zh) * 2020-10-29 2021-03-19 西安工程大学 一种网络的异常行为识别方法
CN112528733B (zh) * 2020-10-29 2024-03-22 西安工程大学 一种基于改进inceptionv3网络的人体异常行为识别方法
CN112990878A (zh) * 2021-03-30 2021-06-18 北京大智汇领教育科技有限公司 一种教师课堂教学行为实时纠正系统及分析方法
CN113378638A (zh) * 2021-05-11 2021-09-10 大连海事大学 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN113378638B (zh) * 2021-05-11 2023-12-22 大连海事大学 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法
CN113378657B (zh) * 2021-05-24 2024-03-01 汇纳科技股份有限公司 行人组群关系识别方法、装置及系统
CN113378657A (zh) * 2021-05-24 2021-09-10 汇纳科技股份有限公司 行人组群关系识别方法、装置及系统
CN113609963B (zh) * 2021-08-03 2022-10-11 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN113609963A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN114152283A (zh) * 2021-11-24 2022-03-08 山东蓝创网络技术股份有限公司 基于立体点阵技术的家庭养老照护床位服务监管系统

Also Published As

Publication number Publication date
CN110826453B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110826453B (zh) 一种通过提取人体关节点坐标的行为识别方法
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
Singh et al. A deeply coupled ConvNet for human activity recognition using dynamic and RGB images
US10216983B2 (en) Techniques for assessing group level cognitive states
CN108154075A (zh) 经由单次学习的群体分析法
WO2019133081A1 (en) Sharing learned information among robots
CN108090408A (zh) 用于执行脸部表情识别和训练的方法和设备
CN106951867A (zh) 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN109583322A (zh) 一种人脸识别深度网络训练方法和系统
CN109299657B (zh) 基于语义注意力保留机制的群体行为识别方法及装置
CN104732208A (zh) 基于稀疏子空间聚类的视频人体行为识别方法
CN110383299A (zh) 记忆增强的生成时间模型
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN110909672A (zh) 一种基于双流卷积神经网络和svm的抽烟动作识别方法
CN110210540A (zh) 基于注意力机制的跨社交媒体用户身份识别方法及系统
CN111967433A (zh) 一种基于自监督学习网络的动作识别办法
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
CN110688980A (zh) 基于计算机视觉的人体姿态分类方法
EP4018399A1 (en) Modeling human behavior in work environments using neural networks
JP2022120775A (ja) オンデバイスでの活動認識
CN112529149A (zh) 一种数据处理方法及相关装置
Akhter et al. Abnormal action recognition in crowd scenes via deep data mining and random forest
CN106845386B (zh) 一种基于动态时间规整与多核学习的动作识别方法
CN116071794A (zh) 一种行为数据学习风格画像生成方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant