CN113963446A - 一种基于人体骨架的行为识别方法及系统 - Google Patents

一种基于人体骨架的行为识别方法及系统 Download PDF

Info

Publication number
CN113963446A
CN113963446A CN202111422702.5A CN202111422702A CN113963446A CN 113963446 A CN113963446 A CN 113963446A CN 202111422702 A CN202111422702 A CN 202111422702A CN 113963446 A CN113963446 A CN 113963446A
Authority
CN
China
Prior art keywords
joint point
skeleton
human body
human
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111422702.5A
Other languages
English (en)
Inventor
李岩
张士然
李坚
席海阔
张勇
孔庆泽
张利锋
吴佳
迟承哲
王海燕
和娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Chengde Power Supply Co of State Grid Jibei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Chengde Power Supply Co of State Grid Jibei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Chengde Power Supply Co of State Grid Jibei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111422702.5A priority Critical patent/CN113963446A/zh
Publication of CN113963446A publication Critical patent/CN113963446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人体骨架的行为识别方法及系统，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。

Description

一种基于人体骨架的行为识别方法及系统
技术领域
本发明涉及视频分析技术领域，具体涉及一种基于人体骨架的行为识别方法及系统。
背景技术
为保障电网的安全生产和稳定运行，需要对电网作业现场的违章行为进行识别。目前通常采用人工监控的方式来对违章行为进行识别，但是由于电网作业现场的人数众多，无法全面兼顾违章行为的识别且容易出现纰漏，违章行为的识别效率较低和识别准确率较低。
发明内容
有鉴于此，本发明实施例提供一种基于人体骨架的行为识别方法及系统，以解决现有识别违章行为方式存在的识别效率较低和识别准确率较低等问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面公开一种基于人体骨架的行为识别方法，所述方法包括：
利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；
对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重；
对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征；
将所有所述关键图像中同一个关节点的所述新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；
将所述新关节点特征作为所述初始关节点特征，返回执行确定所述人体骨架中各个关节点的关节点权重这一步骤直至执行K次，得到所述待识别视频中每个人体骨架对应的行为特征表示；
根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果。
优选的，利用预设工具对待识别视频进行预处理，得到待处理信息，包括：
利用OpenPose对待识别视频进行预处理，得到待处理信息。
优选的，对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重，包括：
对于每帧所述关键图像中的人体骨架，将所述人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将所述二维矩阵输入注意力网络进行权重学习，确定所述人体骨架中各个关节点的关节点权重，所述注意力网络由全连接层构成。
优选的，对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征，包括：
对于每帧所述关键图像中的人体骨架，将所述人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，对所述骨架图进行更新，得到更新后的所述骨架图，更新后的所述骨架图包含所述人体骨架中各个关节点的新关节点特征。
优选的，根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果，包括：
将所述行为特征表示输入平均池化和全连接层进行分类，确定所述待识别视频中每个人体骨架的行为标签预测结果。
本发明实施例第二方面公开一种基于人体骨架的行为识别系统，所述系统包括：
预处理单元，用于利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；
第一确定单元，用于对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重；
第二确定单元，用于对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征；
第一处理单元，用于将所有所述关键图像中同一个关节点的所述新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；
第二处理单元，用于将所述新关节点特征作为所述初始关节点特征，返回执行所述第一确定单元直至执行K次，得到所述待识别视频中每个人体骨架对应的行为特征表示；
预测单元，用于根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果。
优选的，所述预处理单元具体用于：利用OpenPose对待识别视频进行预处理，得到待处理信息。
优选的，所述第一确定单元具体用于：对于每帧所述关键图像中的人体骨架，将所述人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将所述二维矩阵输入注意力网络进行权重学习，确定所述人体骨架中各个关节点的关节点权重，所述注意力网络由全连接层构成。
优选的，所述第二确定单元具体用于：对于每帧所述关键图像中的人体骨架，将所述人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，对所述骨架图进行更新，得到更新后的所述骨架图，更新后的所述骨架图包含所述人体骨架中各个关节点的新关节点特征。
优选的，所述预测单元具体用于：将所述行为特征表示输入平均池化和全连接层进行分类，确定所述待识别视频中每个人体骨架的行为标签预测结果。
基于上述本发明实施例提供的一种基于人体骨架的行为识别方法及系统，该方法为：利用预设工具对待识别视频进行预处理，得到待处理信息；对于每帧关键图像中的人体骨架，利用注意力网络，结合人体骨架中各个关节点的初始关节点特征，确定人体骨架中各个关节点的关节点权重；对于每帧关键图像中的人体骨架，利用图卷积神经网络，结合人体骨架中各个关节点的关节点权重和初始关节点特征，确定得到人体骨架中各个关节点的新关节点特征；将所有关键图像中同一个关节点的新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；将新关节点特征作为初始关节点特征，返回执行确定人体骨架中各个关节点的关节点权重这一步骤直至执行K次，得到待识别视频中每个人体骨架对应的行为特征表示；根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果。本方案中，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于人体骨架的行为识别方法的流程图；
图2为本发明实施例提供的行为识别网络的架构示意图；
图3为本发明实施例提供的一种基于人体骨架的行为识别方法的另一流程图；
图4为本发明实施例提供的一种基于人体骨架的行为识别系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知，目前通常采用人工监控的方式来对违章行为进行识别，但是由于电网作业现场的人数众多，无法全面兼顾违章行为的识别且容易出现纰漏，违章行为的识别效率较低和识别准确率较低。
因此，本发明实施例提供一种基于人体骨架的行为识别方法及系统，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，以提高违章行为的识别效率和识别准确率。
参见图1，示出了本发明实施例提供的一种基于人体骨架的行为识别方法的流程图，该行为识别方法包括：
步骤S101：利用预设工具对待识别视频进行预处理，得到待处理信息。
需要说明的是，待处理信息中至少包含：从待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征。
在具体实现步骤S101的过程中，利用OpenPose对待识别视频进行预处理，得到待处理信息。
可以理解的是，每个人体骨架对应一个作业人员，从待识别视频中所提取到的待处理信息即为每个作业人员的骨架序列信息。
在一些具体实施例中，可同时对多个待识别视频进行预处理并提取得到相应的待处理信息，具体而言，利用OpenPose对视频数据集中的多个待识别视频进行预处理，提取得到一个五维矩阵(N,C,T,V,M)，该五维矩阵中即包含了各个待识别视频对应的待处理信息，其中，N为视频数据集中待识别视频的个数(例如N可设置为256)；C表示每个关节点(也就是人体骨架中的关节)对应的初始关节点特征的数量，每个关节点提取(x，y，acc)这三个初始关节点特征，x为关节点的x坐标，y为关节点的y坐标，acc为关节点的置信度；T为从一个待识别视频中提取的关键图像的帧数(也就是关键图像的数量)；V为每个人体骨架的关节点的数量(也就是一个人体骨架的关节数量)；M为从每帧关键图像中所提取的人体骨架的数量，例如每帧关键图像中可提取2个人体骨架，M可以根据实际情况进行调整。
可以理解的是，在本发明实施例以下内容中所提及的注意力网络、图卷积神经网络(GCN)和长短期记忆网络(LSTM)，该注意力网络、图卷积神经网络和长短期记忆网络构成行为识别模块网络(SLN)，并利用样本数据训练该行为识别模块网络，上述五维矩阵中的N即为训练行为识别模块网络时batch的大小，batch即为一次训练行为识别模块网络所使用的视频的数量。
每帧关键图像中所包含的人体骨架的数量即为该关键图像中作业人员的数量。
可以理解的是，每帧关键图像中可能包含多个人体骨架，在利用OpenPose对待识别视频进行预处理的过程中，会得到每帧关键图像中各个人体骨架的置信度，选择置信度前M的人体骨架作为从关键图像中提取的人体骨架。例如：对于某一帧关键图像，如果该关键图像中存在3个人体骨架，假设上述五维矩阵中的M为2时，则选择置信度前2的人体骨架(也就是置信度最高的2个人体骨架)作为从该关键图像中提取的人体骨架。
步骤S102：对于每帧关键图像中的人体骨架，利用注意力网络，结合人体骨架中各个关节点的初始关节点特征，确定人体骨架中各个关节点的关节点权重。
需要说明的是，利用OpenPose从待识别视频中所提取得到的人体骨架通常包含18个或25个关节点，每个关节点对于某个动作的重要程度有所不同，因此需要计算人体骨架中各个关节点的关节点权重(也就是每一帧关键图像中的每个人体骨架中关节点的重要度)。
在具体实现步骤S102的过程中，对于从每帧关键图像中提取得到的每个人体骨架，利用注意力网络，结合该人体骨架中各个关节点的初始关节点特征，可确定得到该人体骨架中各个关节点的关节点权重，t时刻的关键图像中人体骨架第j个关节点的对应的关节点权重记为w(vtj)。
在具体实现中，对于从每帧关键图像中提取得到的每个人体骨架，将该人体骨架中各个关节点的初始关节点特征进行拼接，拼接成一个二维矩阵，将拼接结果(也就是拼接初始关节点特征得到的二维矩阵)输入注意力网络进行权重学习，确定该人体骨架中各个关节点的关节点权重，该注意力网络由全连接层构成。
通过上述方式，对从每一帧关键图像中所提取到的每一个人体骨架进行处理，可得到每帧人体骨架(也就是一帧关键图像中的一个人体骨架)中各个关节点的关节点权重。
步骤S103：对于每帧关键图像中的人体骨架，利用图卷积神经网络，结合人体骨架中各个关节点的关节点权重和初始关节点特征，确定得到人体骨架中各个关节点的新关节点特征。
在具体实现步骤S103的过程中，对于从每帧关键图像中提取得到的每个人体骨架，利用图卷积神经网络，结合该人体骨架中各个关节点的关节点权重和初始关节点特征，对该人体骨架中各个关节点的初始关节点特征进行更新，确定得到该人体骨架中各个关节点的新关节点特征。
具体而言，对于每帧关键图像中的每个人体骨架，将该人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、该人体骨架中各个关节点的关节点权重和初始关节点特征，对骨架图进行更新，得到更新后的骨架图，更新后的骨架图包含该人体骨架中各个关节点的新关节点特征。
可以理解的是，在利用OpenPose对待识别视频进行预处理的过程中，可提取得到每帧关键图像中各个人体骨架对应的骨架图，该骨架图包含了人体骨架的各个关节点之间的连接关系以及初始关节点特征。
对于每帧关键图像中的每个人体骨架，将该人体骨架对应的骨架图输入图卷积神经网络，结合关节点特征更新公式、该人体骨架中各个关节点的关节点权重和初始关节点特征，即可更新该人体骨架对应的骨架图，更新后的骨架图包含该人体骨架中各个关节点的新关节点特征。
关节点特征更新公式如公式(1)。
Figure BDA0003377073160000081
对于人体骨架中的第i个关节点，通过公式(1)计算得到该第i个关节点的新关节点特征fout。
在公式(1)中，B(vti)为t时刻的骨架图中第i个关节点的邻居关节点集合，t时刻的骨架图即为：t时刻的关键图像中人体骨架对应的骨架图；fin(vtj)为t时刻的骨架图中第j个关节点的初始关节点特征，w(vtj)为t时刻的骨架图中第j个关节点的关节点权重。
通过上述方式，对从待识别视频的各帧关键图像中提取得到的人体骨架的骨架图进行更新，得到该人体骨架中各个关节点的新关节点特征。
步骤S104：将所有关键图像中同一个关节点的新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息。
需要说明的是，待识别视频中包含了空间信息和时间信息，空间信息为多帧图像，时间信息即为每帧图像之间的关联。
在具体实现步骤S104的过程中，将所有关键图像中同一个关节点的新关节点特征进行串联并将其作为一个包含时序信息的序列输入长短期记忆网络，通过融合关键图像从而获取得到时序信息。
步骤S105：将新关节点特征作为初始关节点特征，返回执行步骤S102直至执行K次，得到待识别视频中每个人体骨架对应的行为特征表示。
在具体实现步骤S105的过程中，将新关节点特征作为初始关节点特征，返回执行步骤S102至步骤S104，直至迭代更新K次，到待识别视频中每个人体骨架对应的行为特征表示。
步骤S106：根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果。
在具体实现步骤S106的过程中，将每个人体骨架对应的行为特征表示输入平均池化和全连接层进行分类，确定待识别视频中每个人体骨架的行为标签预测结果。由于每个人体骨架对应一作业人员，因此该人体骨架的行为标签预测结果即可反映该作业人员的行为是否为违章行为。
由上述内容可知，注意力网络、图卷积神经网络和长短期记忆网络构成行为识别模块网络(SLN)，重复执行K次步骤S102至步骤S104，也就是利用行为识别模块网络进行迭代更新K次，最终可得到待识别视频中每个人体骨架对应的行为特征表示，进而利用行为特征表示确定待识别视频中每个人体骨架的行为标签预测结果。
如图2示出的行为识别网络的架构示意图所示，W为注意力网络，GCN为图卷积神经网络，LSTM为长短期记忆网络，FC为平均池化和全连接层。
利用OpenPose对视频数据集中的多个待识别视频进行预处理，提取得到一个五维矩阵；将该五维矩阵输入行为识别模块网络(SLN)进行K次迭代更新，得到待识别视频中每个人体骨架对应的行为特征表示；将待识别视频中每个人体骨架对应的行为特征表示输入平均池化和全连接层进行分类，得到待识别视频中每个人体骨架的行为标签预测结果。
在本发明实施例中，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。
为更好解释说明上述本发明实施例图1中的内容，通过图3示出的一种基于人体骨架的行为识别方法的另一流程图进行举例说明，图3包括以下步骤：
步骤S301：利用OpenPose对待识别视频进行预处理，使a＝0。
步骤S302：a是否小于K；若a小于K，执行步骤S303至步骤S306；若a不小于K，结束迭代更新，得到待识别视频中每个人体骨架对应的行为特征表示。
步骤S303：利用注意力网络，确定人体骨架中各个关节点的关节点权重。
步骤S304：利用图卷积神经网络，确定得到人体骨架中各个关节点的新关节点特征。
步骤S305：使a自增1，即a++。
步骤S306：利用长短期记忆网络获取时序信息，返回执行步骤S302。
可以理解的是，上述步骤S302至步骤S306，即为将五维矩阵(包含待处理信息)输入行为识别模块网络(SLN)进行K次迭代更新，得到待识别视频中每个人体骨架对应的行为特征表示，具体执行原理可参见上述本发明实施例图1中的内容，在此不再赘述。
与上述本发明实施例提供的一种基于人体骨架的行为识别方法相对应，参见图4，本发明实施例还提供了一种基于人体骨架的行为识别系统的结构框图，该行为识别系统包括：预处理单元401、第一确定单元402、第二确定单元403、第一处理单元404、第二处理单元405和预测单元406；
预处理单元401，用于利用预设工具对待识别视频进行预处理，得到待处理信息，待处理信息中至少包含：从待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征。
在具体实现中，预处理单元401具体用于：利用OpenPose对待识别视频进行预处理，得到待处理信息。
第一确定单元402，用于对于每帧关键图像中的人体骨架，利用注意力网络，结合人体骨架中各个关节点的初始关节点特征，确定人体骨架中各个关节点的关节点权重。
在具体实现中，第一确定单元402具体用于：对于每帧关键图像中的人体骨架，将人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将二维矩阵输入注意力网络进行权重学习，确定人体骨架中各个关节点的关节点权重，注意力网络由全连接层构成。
第二确定单元403，用于对于每帧关键图像中的人体骨架，利用图卷积神经网络，结合人体骨架中各个关节点的关节点权重和初始关节点特征，确定得到人体骨架中各个关节点的新关节点特征。
在具体实现中，第二确定单元403具体用于：对于每帧关键图像中的人体骨架，将人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、人体骨架中各个关节点的关节点权重和初始关节点特征，对骨架图进行更新，得到更新后的骨架图，更新后的骨架图包含人体骨架中各个关节点的新关节点特征。
第一处理单元404，用于将所有关键图像中同一个关节点的新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息。
第二处理单元405，用于将新关节点特征作为初始关节点特征，返回执行第一确定单元402直至执行K次，得到待识别视频中每个人体骨架对应的行为特征表示。
预测单元406，用于根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果。
在具体实现中，预测单元406具体用于：将行为特征表示输入平均池化和全连接层进行分类，确定待识别视频中每个人体骨架的行为标签预测结果。
在本发明实施例中，对输入的待识别视频进行预处理，提取待识别视频中包含的人体骨架信息。利用注意力网络、图卷积神经网络和长短期记忆网络，处理人体骨架的相关信息得到待识别视频中每个人体骨架对应的行为特征表示。根据行为特征表示，确定待识别视频中每个人体骨架的行为标签预测结果，标签预测结果用于反映作业人员的行为是否为违章行为。基于人体骨架识别作业人员的行为，且可同时识别多个作业人员的行为，提高违章行为的识别效率和识别准确率。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于人体骨架的行为识别方法，其特征在于，所述方法包括：
利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；
对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重；
对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征；
将所有所述关键图像中同一个关节点的所述新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；
将所述新关节点特征作为所述初始关节点特征，返回执行确定所述人体骨架中各个关节点的关节点权重这一步骤直至执行K次，得到所述待识别视频中每个人体骨架对应的行为特征表示；
根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果。
2.根据权利要求1所述的方法，其特征在于，利用预设工具对待识别视频进行预处理，得到待处理信息，包括：
利用OpenPose对待识别视频进行预处理，得到待处理信息。
3.根据权利要求1所述的方法，其特征在于，对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重，包括：
对于每帧所述关键图像中的人体骨架，将所述人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将所述二维矩阵输入注意力网络进行权重学习，确定所述人体骨架中各个关节点的关节点权重，所述注意力网络由全连接层构成。
4.根据权利要求1所述的方法，其特征在于，对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征，包括：
对于每帧所述关键图像中的人体骨架，将所述人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，对所述骨架图进行更新，得到更新后的所述骨架图，更新后的所述骨架图包含所述人体骨架中各个关节点的新关节点特征。
5.根据权利要求1所述的方法，其特征在于，根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果，包括：
将所述行为特征表示输入平均池化和全连接层进行分类，确定所述待识别视频中每个人体骨架的行为标签预测结果。
6.一种基于人体骨架的行为识别系统，其特征在于，所述系统包括：
预处理单元，用于利用预设工具对待识别视频进行预处理，得到待处理信息，所述待处理信息中至少包含：从所述待识别视频提取得到的每帧关键图像中的人体骨架的数量，每个人体骨架的关节点的数量，以及每个关节点的初始关节点特征；
第一确定单元，用于对于每帧所述关键图像中的人体骨架，利用注意力网络，结合所述人体骨架中各个关节点的初始关节点特征，确定所述人体骨架中各个关节点的关节点权重；
第二确定单元，用于对于每帧所述关键图像中的人体骨架，利用图卷积神经网络，结合所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，确定得到所述人体骨架中各个关节点的新关节点特征；
第一处理单元，用于将所有所述关键图像中同一个关节点的所述新关节点特征进行串联并将其输入长短期记忆网络，获取得到时序信息；
第二处理单元，用于将所述新关节点特征作为所述初始关节点特征，返回执行所述第一确定单元直至执行K次，得到所述待识别视频中每个人体骨架对应的行为特征表示；
预测单元，用于根据所述行为特征表示，确定所述待识别视频中每个人体骨架的行为标签预测结果。
7.根据权利要求6所述的系统，其特征在于，所述预处理单元具体用于：利用OpenPose对待识别视频进行预处理，得到待处理信息。
8.根据权利要求6所述的系统，其特征在于，所述第一确定单元具体用于：对于每帧所述关键图像中的人体骨架，将所述人体骨架中各个关节点的初始关节点特征进行拼接得到二维矩阵，将所述二维矩阵输入注意力网络进行权重学习，确定所述人体骨架中各个关节点的关节点权重，所述注意力网络由全连接层构成。
9.根据权利要求6所述的系统，其特征在于，所述第二确定单元具体用于：对于每帧所述关键图像中的人体骨架，将所述人体骨架的骨架图输入图卷积神经网络，基于关节点特征更新公式、所述人体骨架中各个关节点的所述关节点权重和所述初始关节点特征，对所述骨架图进行更新，得到更新后的所述骨架图，更新后的所述骨架图包含所述人体骨架中各个关节点的新关节点特征。
10.根据权利要求6所述的系统，其特征在于，所述预测单元具体用于：将所述行为特征表示输入平均池化和全连接层进行分类，确定所述待识别视频中每个人体骨架的行为标签预测结果。
CN202111422702.5A 2021-11-26 2021-11-26 一种基于人体骨架的行为识别方法及系统 Pending CN113963446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111422702.5A CN113963446A (zh) 2021-11-26 2021-11-26 一种基于人体骨架的行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111422702.5A CN113963446A (zh) 2021-11-26 2021-11-26 一种基于人体骨架的行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN113963446A true CN113963446A (zh) 2022-01-21

Family

ID=79472288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111422702.5A Pending CN113963446A (zh) 2021-11-26 2021-11-26 一种基于人体骨架的行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN113963446A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243393A1 (ja) * 2022-06-13 2023-12-21 コニカミノルタ株式会社 認識装置、認識システム及びコンピュータープログラム
WO2023243397A1 (ja) * 2022-06-13 2023-12-21 コニカミノルタ株式会社 認識装置、認識システム及びコンピュータープログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243393A1 (ja) * 2022-06-13 2023-12-21 コニカミノルタ株式会社 認識装置、認識システム及びコンピュータープログラム
WO2023243397A1 (ja) * 2022-06-13 2023-12-21 コニカミノルタ株式会社 認識装置、認識システム及びコンピュータープログラム

Similar Documents

Publication Publication Date Title
CN111291819B (zh) 图像识别方法、装置、电子设备及存储介质
WO2021093435A1 (zh) 语义分割网络结构的生成方法、装置、设备及存储介质
CN114912612A (zh) 鸟类识别方法、装置、计算机设备及存储介质
KR20190021187A (ko) 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
CN113963446A (zh) 一种基于人体骨架的行为识别方法及系统
CN113723288B (zh) 基于多模态混合模型的业务数据处理方法及装置
CN111222500A (zh) 一种标签提取方法及装置
JP2022554068A (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
CN112699297A (zh) 基于用户画像的服务推荐方法、装置、设备及存储介质
KR102296274B1 (ko) 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법
CN112508078B (zh) 图像多任务多标签识别方法、系统、设备及介质
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN111052128A (zh) 用于检测和定位视频中的对象的描述符学习方法
CN114676776A (zh) 一种基于Transformer的细粒度图像分类方法
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
CN113496148A (zh) 一种多源数据融合方法及系统
CN115587739A (zh) 客户名单分配方法、装置、计算机设备及存储介质
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN112819510A (zh) 基于服饰多属性识别的时尚趋势预测方法、系统以及设备
CN117435999A (zh) 一种风险评估方法、装置、设备以及介质
CN110704650A (zh) Ota图片标签的识别方法、电子设备和介质
CN116543460A (zh) 基于人工智能的时空动作识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination