CN116246343A - 轻量化的人体行为识别方法及装置 - Google Patents

轻量化的人体行为识别方法及装置 Download PDF

Info

Publication number
CN116246343A
CN116246343A CN202310152941.6A CN202310152941A CN116246343A CN 116246343 A CN116246343 A CN 116246343A CN 202310152941 A CN202310152941 A CN 202310152941A CN 116246343 A CN116246343 A CN 116246343A
Authority
CN
China
Prior art keywords
angle
human body
characteristic
feature
characteristic angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310152941.6A
Other languages
English (en)
Inventor
刘军
魏园波
邓小铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Intelligent Technology Co Ltd
Original Assignee
Shenzhen Infinova Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Intelligent Technology Co Ltd filed Critical Shenzhen Infinova Intelligent Technology Co Ltd
Priority to CN202310152941.6A priority Critical patent/CN116246343A/zh
Publication of CN116246343A publication Critical patent/CN116246343A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于人体行为识别技术领域，提供了一种轻量化的人体行为识别方法及装置，所述方法包括：根据人体图像得到目标人体的多个骨骼关键点的二维坐标；根据多个骨骼关键点的二维坐标得到多个人体部位的二维坐标；根据至少两个人体部位的二维坐标，确定特征角和特征角的变化量；将特征角和特征角的变化量输入行为识别网络模型得到目标人体的行为类别。本申请通过将根据人体图像得到的特征角和特征角的变化量这种易得到的参数作为特征向量输入行为识别网络模型得到识别结果，能够避免环境的因素影响，降低数据预处理的时间、数据处理的复杂程度和计算量。并且，本申请的方法计算量小，因此本申请的方法应用范围广，能够应用于低性能的设备。

Description

轻量化的人体行为识别方法及装置
技术领域
本申请属于人体行为识别技术领域，尤其涉及一种轻量化的人体行为识别方法及装置。
背景技术
现有的人体动作识别方法一般是通过传感器数据或者RGB视频数据来识别人体动作。直接使用RGB视频数据对人体动作进行分类的人体行为识别方法易受到光照、视角等环境因素干扰，因此，基于姿态估计的的人体动作识别方法逐渐成为主流。但是现有的基于姿态估计的的人体动作识别方法存在数据处理过程复杂、计算成本高、计算量大、实时性低的问题。而基于传感器的人体行为识别方法虽然计算成本较低，但是鲁棒性较差、只能进行简单的动作分类。
发明内容
本申请实施例提供了一种轻量化的人体行为识别方法及装置，可以解决以往的方法易受环境因素干扰或者计算成本高、处理过程复杂的问题。
第一方面，本申请实施例提供了一种轻量化的人体行为识别方法，包括：根据获取到的多帧人体图像，确定每一帧所述人体图像中目标人体的多个骨骼关键点的二维坐标；
根据所述多个骨骼关键点的二维坐标确定多个人体部位的二维坐标，每个所述人体部位都包括至少一个所述骨骼关键点，所述多个人体部位包括以下中的至少两项：头部、肩部、肘部、手部、腰部、膝部、脚部；
根据所述多个人体部位的二维坐标，确定至少一个特征角和所述至少一个特征角在相邻两帧的所述人体图像中的变化量，所述特征角为所述目标人体的两个人体部位的连线与水平方向的夹角；
将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别。
在第一方面的一种可能的实现方式中，可以将每个人体部位包括的至少一个骨骼关键点的二维坐标的均值确定为该人体部位的二维坐标。
在第一方面的一种可能的实现方式中，可以根据头部、腰部、脚部的二维坐标，确定第一特征角、第二特征角、第三特征角，还有第一特征角、第二特征角、第三特征角在相邻两帧的人体图像中的变化量。然后将上述特征角和特征角的变化量输入行为识别网络模型，得到目标人体的行为类别为摔倒。
示例性的，第一特征角为头部、腰部连线与水平方向的夹角，第二特征角为头部、脚部连线与水平方向的夹角，第三特征角为腰部、脚部连线与水平方向的夹角。
在第一方面的一种可能的实现方式中，可以根据头部、肩部、腰部、膝部及脚部的二维坐标，确定第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧的人体图像中的变化量，然后将上述特征角和特征角的变化量输入行为识别网络模型，得到目标人体的行为类别为行走。
示例性的，第四特征角为头部、肩部连线与水平方向的夹角，第五特征角为肩部、腰部连线与水平方向的夹角，第六特征角为腰部、膝部的连线与水平方向的夹角，第七特征角为膝部、脚部连线与水平方向的夹角。
在第一方面的一种可能的实现方式中，还可以将第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧的人体图像中的变化量输入行为识别网络模型，得到目标人体的行为类别为跑步。
本申请通过将根据人体图形得到的特征角和特征角的变化量这种易得到的参数作为特征向量输入行为识别网络模型，得到识别结果，能够避免识别结果受到环境因素影响，降低数据预处理的时间、数据处理的复杂程度和计算量。并且，因为本申请的方法计算量小，因此本申请的方法应用范围广，能够应用于低性能的装置。
第二方面，本申请实施例提供了一种轻量化的人体行为识别装置，包括：获取单元和处理单元；
获取单元用于获取多帧人体图像；
处理单元用于：根据多帧人体图像，确定每一帧人体图像中目标人体的多个骨骼关键点的二维坐标；
根据多个骨骼关键点的二维坐标确定多个人体部位的二维坐标；
根据多个人体部位的二维坐标，确定至少一个特征角和至少一个特征角在相邻两帧的人体图像中的变化量；
将至少一个特征角和至少一个特征角的变化量输入行为识别网络模型，得到目标人体的行为类别。
示例性的，每个人体部位都包括至少一个骨骼关键点。
示例性的，多个人体部位包括以下中的至少两项：头部、肩部、颈部、肘部、手部、胸部、腰部、膝部、脚部。
示例性的，特征角为目标人体的两个人体部位的连线与水平方向的夹角。
在第二方面的一种可能的实现方式中，处理单元可以将人体部位包括的至少一个骨骼关键点的二维坐标的均值作为该人体部位的二维坐标。
在第二方面的一种可能的实现方式中，处理单元可以根据头部、腰部、脚部的二维坐标，确定出第一特征角、第二特征角、第三特征角，还有第一特征角、第二特征角、第三特征角在相邻两帧人体图像中的变化量。然后将上述特征角和特征角的变化量输入行为识别网络模型，得到该目标人体的行为类别为摔倒。
示例性的，第一特征角为头部、腰部连线与水平方向的夹角，第二特征角为头部、脚部连线与水平方向的夹角，第三特征角为腰部、脚部连线与水平方向的夹角。
在第二方面的一种可能的实现方式中，处理单元可以根据头部、肩部、腰部、膝部及脚部的二维坐标，确定出第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧人体图像中的变化量。然后将上述特征角和特征角的变化量输入行为识别网络模型，得到该目标人体的行为类别为行走。
示例性的，第四特征角为头部、肩部连线与水平方向的夹角，第五特征角为肩部、腰部连线与水平方向的夹角，第六特征角为腰部、膝部的连线与水平方向的夹角，第七特征角为膝部、脚部连线与水平方向的夹角。
在第二方面的一种可能的实现方式中，处理单元还可以将第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧人体图像中的变化量输入行为识别网络模型，得到该目标人体的行为类别为跑步。
第三方面，本申请实施例提供了一种终端设备，包括：包括：存储器和处理器，所述处理器可以用于执行存储在存储器中的程序(指令)，以实现上述第一方面提供的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被执行时，可以实现上述第一方面提供的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：本申请通过将根据人体图形得到的特征角和特征角的变化量这种易得到的参数作为特征向量输入行为识别网络模型，得到识别结果，能够避免识别结果受到环境因素影响，降低数据预处理的时间、数据处理的复杂程度和计算量。并且，因为本申请的方法计算量小，因此本申请的方法应用范围广，能够应用于低性能的装置。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的轻量化的人体行为识别方法的流程示意图；
图2是本申请一实施例提供的人体图像的示意图；
图3是本申请一实施例提供的目标人体的骨骼关键点的示意图；
图4是本申请一实施例提供的行走时人体部位的示意图；
图5是本申请一实施例提供的跑步时人体部位的示意图；
图6是本申请实施例提供的轻量化的人体行为识别装置的结构示意图；
图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的人体行为识别方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
一类人体行为识别方法是通过用户身上的可穿戴的速度传感器获取的人体关键点的速度信息，来对用户的行为动作进行简单的分类。例如通过人体关节的速度和加速度来区分行走、坐下、跌倒等动作。通过人体关节的运动幅度来区分跳跃、跑步等运动。但是该类方法的鲁棒性较差，识别结果的准确率较低。比如，在用户下蹲系鞋带，或者趴在地上寻找东西时传感器的数据和用户跌倒时的数据相同。
另一类人体行为识别方法是通过RGB视频数据来对用户的行为动作进行分类。
一种是基于RGB视频和深度卷积神经网络的动作检测方法。该方法通过深度卷积神经网络从RGB视频中提取人体的表观特征和运动特征，然后通过3D卷积或时序池化操作融合时序信息，训练人体动作检测模型。虽然该方法的识别精度较高，但是在识别复杂的人体动作时，需要大规模的数据训练才能保证鲁棒性。并且，该方法处理较长的视频时计算成本高、处理过程复杂。因此，该方法并不适用于算力较低的边缘设备。
一种是基于高阶运动表示的多视觉模态融合动作检测算法。该方法是通过从RGB视频中提取光流、帧差等高阶参数，然后综合多个深度神经网络模型处理多视觉模态数据。由于该方法在数据预处理过程中的计算量过大，比如根据RGB视频得到光流的过程，融合多个深度神经网络模型时参数量过多，因此该方法的数据处理过程较长、实时性不高。因此，该方法同样不适用于算力较低的边缘设备。
上述人体识别方法对执行方法的主体主题设备要求较高，比如需要额外的可穿戴传感器、高性能的图形处理器、或者具有较大容量的存储设备。上述方法都很难应用于结构简单，算力有限的低性能终端。
有鉴于此，本申请提供了一种轻量化的人体行为识别方法，通过将根据RGB视频数据得到的人体各部位之间的特征角和特征角的变化量输入行为识别网络模型，从而得到识别结果。因为人体各部位之间特征角和特征角的变化量相比光流等高阶参数更易得到，并且不需要融合多种网络模型，所以根据本申请的方法，能够提高检测结果的准确率、简化数据处理过程、降低计算量和计算成本，增强实时性。并且，因为本申请的方法计算量小且不需要由各种传感器获取到的数据，所以本申请的方法适用范围更广，可以用于低性能设备。
图1示出了本申请提供的一种轻量化的人体行为识别方法的示意性流程图，作为示例而非限定，该方法可以应用于上述终端设备中。
S101，根据获取到的多帧人体图像，确定每一帧人体图像中目标人体的多个骨骼关键点的二维坐标。
示例性的，可以将获取的多帧连续的人体图像输入到AlphaPose模型，然后得到输出的每一帧人体图像中目标人体的多个骨骼关键点的二维坐标。
具体地，在将人体图像(参见图2中的(a)所示的三帧连续的人体图像)输入AlphaPose模型之后，可以得到每帧图像中目标人体的17个骨骼关键点的二维坐标(参见图2中的(b)所示的三帧人体图像分别对应的目标人体的多个骨骼关键点)。
示例性的，参见图3，得到的17个骨骼关键点分别为：鼻子0、左眼1、右眼2、左脸颊3、右脸颊4、左肩5、右肩6、左胳膊肘7、右胳膊肘8、左手9、右手10、左臀11、右臀12、左膝13、右膝14、左脚15、右脚16。
S102，根据多个骨骼关键点的二维坐标确定多个人体部位的二维坐标。
示例性的，目标人体的人体部位包括：头部、肩部、肘部、手部、腰部、膝部及脚部。
示例性的，每个人体部位包括至少一个骨骼关键点。参见图3，头部包括的骨骼关键点为：鼻子0、左眼1、右眼2、左脸颊3及右脸颊4。肩部包括的骨骼关键点为左肩5和右肩6。肘部包括的骨骼关键点为左胳膊肘7和右胳膊肘8。手部包括的骨骼关键点为左手9和右手10。腰部包括的骨骼关键点为左臀11和右臀12。膝部包括的骨骼关键点为左膝13和右膝14。脚部包括的骨骼关键点为左脚15和右脚16。
应理解，在此只提及本申请实施例中需要用到的人体部位，人体部位还可以根据识别出的骨骼关键点的不同包括颈部、胸部等部位。
应理解，人体所包括的人体部位可以根据人体结构或者运动时人体左右姿态的不同进行更进一步的划分，比如将膝部分为左膝部、右膝部等。
具体地，可以根据多个骨骼关键点的二维坐标确定出上述人体部位中至少两个人体部位的二维坐标，该至少两个人体部位的二维坐标后续用以确定至少一个特征角。
在一个示例中，可以将每个人体部位包括的至少一个骨骼关键点的二维坐标的均值，确定为该人体部位的二维坐标。
示例性的，可以通过下述公式确定人体部位的二维坐标：
Figure BDA0004092866740000091
其中，V为人体部位的二维坐标，P表示不同的人体部位，VP为该人体部位包括的骨骼关键点的数量，v为骨骼关键点的二维坐标。
S103，根据多个人体部位的二维坐标，确定至少一个特征角和至少一个特征角在相邻两帧的人体图像中的变化量。
示例性的，特征角的范围应为[0°,180°]。
示例性的，可以通过下述公式确定特征角：
Figure BDA0004092866740000092
其中，θk为特征角，(x,y)为人体部位的二维坐标。
示例性的，可以通过下述公式确定特征角在相邻两帧的人体图像中的变化量：
Figure BDA0004092866740000093
其中，Δθk为特征角的变化量，
Figure BDA0004092866740000094
为当前帧人体图像中目标人体的特征角，/>
Figure BDA0004092866740000095
上一帧人体图像中目标人体的特征角。
在一个示例中，可以根据目标人体头部、腰部及脚部的二维坐标确定第一特征角、第二特征角及第三特征角，还有第一特征角、第二特征角及第三特征角在相邻两帧人体图像中的变化量。第一特征角、第二特征角、第三特征角，及第一特征角的变化量、第二特征角的变化量、第三特征角的变化量，可以用于确定目标人体的行为类别是否为摔倒。
示例性的，第一特征角为头部、腰部的连线和水平方向的夹角。第二特征角为头部、脚部连线与水平方向的夹角。第三特征角为腰部、脚部连线和水平方向的夹角(参见图2中的(c))。
在另一个示例中，可以根据目标人体的头部、肩部、腰部、膝部及脚部的二维坐标确定第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角及第七特征角在相邻两帧人体图像中的变化量。上述特征角和特征角的变化量可以用于确定目标人体的行为类别是否为行走。
示例性的，第四特征角为头部、肩部连线与水平方向的夹角。第五特征角为肩部、腰部连线与水平方向的夹角。第六特征角为腰部、膝部连线与水平方向的夹角。第七特征角为膝部、脚部连线与水平方向的夹角(参见图4中的(b))。
在又一个示例中，可以根据目标人体的头部、肩部、腰部、膝部及脚部的二维坐标确定第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角及第七特征角在相邻两帧人体图像中的变化量。上述特征角和特征角的变化量还可以用于确定目标人体的行为类别是否为跑步。
S104，将至少一个特征角和至少一个特征角的变化量输入行为识别网络模型，得到目标人体的行为类别。
示例性的，行为识别网络模型可以是神经网络模型或其他机器学习模型。
可选地，行为识别网络模型可以是多层感知机。
具体地，多层感知机以全连接网络层为基础。可以将特征角和特征角的变化量作为特征向量输入，然后输出各行为类别的分类得分，最后经过sigmoid函数得到目标人体为分类得分最高的行为类别的概率。
在一个示例中，可以将第一特征角、第二特征角、第三特征角，还有第一特征角、第二特征角、第三特征角在相邻两帧图像中的变化量输入行为识别网络模型，然后得到目标人体的行为类别为摔倒的概率。
举例来说，在人正常站立时，人体的头部-腰部连线、头部-脚部连线及腰部-脚部连线与水平面的夹角接近90度，且时序变化量不大。而在人摔倒后躺在地上时，人体的头部-腰部连线、头部-脚部连线及腰部-脚部连线与水平面的夹角接近0度或180度。因此，若人体若第一特征角、第二特征角、第三特征角(参见图2)短时间内由90度减小至0度或增大至180度，则人体行为别网络模型得出的目标人体的行为类别为摔倒的概率就大。
在另一个示例中，可以将第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧图像中的变化量输入行为识别网络模型，然后得到目标人体的行为类别为行走的概率。
在又一个示例中，在将第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧图像中的变化量输入行为识别网络模型后，还可以得到目标人体的行为类别为跑步的概率。
举例来说，当人在行走或跑步时上身直立两腿弯曲，不同的是，行走时人体腿部弯曲程度较小，跑步时较大。因此，若目标人体第四特征角、第五特征角近似为90度，第六特征角小于90度，第七特征角大于90度时，目标人体的行为可以为行走或跑步。若目标人体的第六特征角较大，第七特征角较小，且第六特征角和第七特征角的变化量较小时(参见图4)，人体行为别网络模型得出的目标人体的行为类别为行走的概率就大。若第六特征角较小，第七特征角较大，且第六特征角和第七特征角的变化量较大时(参见图5)，人体行为别网络模型得出的目标人体的行为类别为跑步的概率就大。
应理解，本申请中的行为识别网络模型在确定目标人体行为类别时所依据的各特征角的角度阈值与目标人体的方向有关。
应理解，本申请的方法还可以根据人体各种行为类别对应的人体姿态的特征，根据不同的特征角和特征角的变化量时识别其他的行为类别，比如坐、躺等。本申请不限制识别出的行为类别的具体种类。
本申请通过将根据人体图形得到的特征角和特征角的变化量这种易得到的参数作为特征向量输入行为识别网络模型，得到识别结果，能够避免识别结果受到环境因素影响，降低数据预处理的时间、数据处理的复杂程度和计算量。并且，因为本申请的方法计算量小，因此本申请的方法应用范围广，能够应用于低性能的装置。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的轻量化的人体行为识别方法，图6示出了本申请实施例提供的轻量化的人体行为识别装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图6，该装置包括：获取单元610和处理单元620；
获取单元610用于获取多帧人体图像；
处理单元620用于：根据多帧人体图像，确定每一帧人体图像中目标人体的多个骨骼关键点的二维坐标；
根据多个骨骼关键点的二维坐标确定多个人体部位的二维坐标；
根据多个人体部位的二维坐标，确定至少一个特征角和至少一个特征角在相邻两帧的人体图像中的变化量；
将至少一个特征角和至少一个特征角的变化量输入行为识别网络模型，得到目标人体的行为类别。
示例性的，每个人体部位都包括至少一个骨骼关键点。
示例性的，多个人体部位包括以下中的至少两项：头部、肩部、颈部、肘部、手部、胸部、腰部、膝部、脚部。
示例性的，特征角为目标人体的两个人体部位的连线与水平方向的夹角。
在一个示例中，处理单元620可以将人体部位包括的至少一个骨骼关键点的二维坐标的均值作为该人体部位的二维坐标。
在一个示例中，处理单元620可以根据头部、腰部、脚部的二维坐标，确定出第一特征角、第二特征角、第三特征角，还有第一特征角、第二特征角、第三特征角在相邻两帧人体图像中的变化量。然后将上述特征角和特征角的变化量输入行为识别网络模型，得到该目标人体的行为类别为摔倒。
示例性的，第一特征角为头部、腰部连线与水平方向的夹角，第二特征角为头部、脚部连线与水平方向的夹角，第三特征角为腰部、脚部连线与水平方向的夹角。
在一个示例中，处理单元620可以根据头部、肩部、腰部、膝部及脚部的二维坐标，确定出第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧人体图像中的变化量。然后将上述特征角和特征角的变化量输入行为识别网络模型，得到该目标人体的行为类别为行走。
示例性的，第四特征角为头部、肩部连线与水平方向的夹角，第五特征角为肩部、腰部连线与水平方向的夹角，第六特征角为腰部、膝部的连线与水平方向的夹角，第七特征角为膝部、脚部连线与水平方向的夹角。
在一个示例中，处理单元620还可以将第四特征角、第五特征角、第六特征角、第七特征角，还有第四特征角、第五特征角、第六特征角、第七特征角在相邻两帧人体图像中的变化量输入行为识别网络模型，得到该目标人体的行为类别为跑步。
本申请通过将根据人体图形得到的特征角和特征角的变化量这种易得到的参数作为特征向量输入行为识别网络模型，得到识别结果，能够避免识别结果受到环境因素影响，降低数据预处理的时间、数据处理的复杂程度和计算量。又因为本申请的方法计算量小，因此本申请的方法应用范围广，能够应用于低性能的装置。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图7示出的是本申请一实施例提供的处理设备的结构示意图。如图7所示的处理设备700可以包括：至少一个处理器710(图7中仅示出一个处理器)、存储器720以及存储在所述存储器720中并可在所述至少一个处理器710上运行的计算机程序730，所述处理器710执行所述计算机程序730时实现上述任意各个方法实施例中的步骤。
所述处理设备700可以是机器人等能够实现上述方法的处理设备，本申请实施例对处理设备的具体类型不作任何限制。
本领域技术人员可以理解，图7仅仅是处理设备700的举例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。比如，该处理设备700还可以包括输入输出接口。
所称处理器710可以是中央处理单元(Central Processing Unit，CPU)，该处理器710还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器720在一些实施例中可以是内部存储单元，例如硬盘或内存。所述存储器720在另一些实施例中也可以是外部存储设备，例如插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器720还可以既包括内部存储单元也包括外部存储设备。所述存储器720用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在轻量化的人体行为识别装置上运行时，使得轻量化的人体行为识别装置执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

Claims (12)

1.一种轻量化的人体行为类别识别方法，其特征在于，包括：
根据获取到的多帧人体图像，确定每一帧所述人体图像中目标人体的多个骨骼关键点的二维坐标；
根据所述多个骨骼关键点的二维坐标确定多个人体部位的二维坐标，每个所述人体部位都包括至少一个所述骨骼关键点，所述多个人体部位包括以下中的至少两项：头部、肩部、肘部、手部、腰部、膝部、脚部；
根据所述多个人体部位的二维坐标，确定至少一个特征角和所述至少一个特征角在相邻两帧的所述人体图像中的变化量，所述特征角为所述目标人体的两个人体部位的连线与水平方向的夹角；
将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别。
2.如权利要求1所述的方法，其特征在于，所述多个人体部位包括：头部、腰部及脚部；
其中，所述根据所述多个人体部位的二维坐标，确定至少一个特征角和所述至少一个特征角在相邻两帧的所述人体图像中的变化量，包括：
根据所述头部、所述腰部及所述脚部的二维坐标，确定第一特征角、第二特征角、第三特征角，和所述第一特征角、所述第二特征角及所述第三特征角在相邻两帧的所述人体图像中的变化量，所述第一特征角为所述头部、所述腰部连线与水平方向的夹角，所述第二特征角为所述头部、所述脚部连线与水平方向的夹角，所述第三特征角为所述腰部、所述脚部连线与水平方向的夹角；
所述将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别，包括：
将所述第一特征角、所述第二特征角、所述第三特征角和所述第一特征角、所述第二特征角及所述第三特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为摔倒。
3.如权利要求1所述的方法，其特征在于，所述多个人体部位包括：头部、肩部、腰部、膝部及脚部；
其中，所述根据所述多个人体部位的二维坐标，确定至少一个特征角和所述至少一个特征角在相邻两帧的所述人体图像中的变化量包括：
根据所述头部、所述肩部、所述腰部、所述膝部及所述脚部的二维坐标，确定第四特征角、第五特征角、第六特征角、第七特征角，和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量，所述第四特征角为所述头部、所述肩部连线与水平方向的夹角，所述第五特征角为所述肩部、所述腰部连线与水平方向的夹角，所述第六特征角为所述腰部、所述膝部的连线与水平方向的夹角，所述第七特征角为所述膝部、所述脚部连线与水平方向的夹角；
所述将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别，包括：
将所述第四特征角、所述第五特征角、所述第六特征角、所述第七特征角和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为行走。
4.如权利要求3所述的方法，其特征在于，所述将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别，还包括：
将所述第四特征角、所述第五特征角、所述第六特征角、所述第七特征角和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为跑步。
5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述多个骨骼关键点的二维坐标确定多个人体部位的二维坐标，包括：
将所述人体部位包括的所述至少一个骨骼关键点的二维坐标的平均值确定为所述人体部位的二维坐标。
6.一种人体行为识别装置，其特征在于，包括获取单元和处理单元：
所述获取单元用于获取多帧人体图像；
所述处理单元用于根据所述多帧人体图像，确定每一帧所述人体图像中目标人体的多个骨骼关键点的二维坐标；
所述处理单元还用于根据所述多个骨骼关键点的二维坐标确定多个人体部位的二维坐标，每个所述人体部位都包括至少一个所述骨骼关键点，所述多个人体部位包括以下中的至少两项：头部、肩部、颈部、肘部、手部、胸部、腰部、膝部、脚部；
所述处理单元还用于根据所述多个人体部位的二维坐标，确定至少一个特征角和所述至少一个特征角在相邻两帧的所述人体图像中的变化量，所述特征角为所述目标人体的两个人体部位的连线与水平方向的夹角；
所述处理单元还用于将所述至少一个特征角和所述至少一个特征角的变化量输入行为识别网络模型，得到所述目标人体的行为类别。
7.如权利要求6所述的装置，其特征在于，所述多个人体部位包括：头部、腰部及脚部；
其中，所述处理单元具体用于：根据所述头部、所述腰部及所述脚部的二维坐标，确定第一特征角、第二特征角、第三特征角，和所述第一特征角、所述第二特征角及所述第三特征角在相邻两帧的所述人体图像中的变化量，所述第一特征角为所述头部、所述腰部连线与水平方向的夹角，所述第二特征角为所述头部、所述脚部连线与水平方向的夹角，所述第三特征角为所述腰部、所述脚部连线与水平方向的夹角；
将所述第一特征角、所述第二特征角、所述第三特征角和所述第一特征角、所述第二特征角及所述第三特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为摔倒。
8.如权利要求6所述的装置，其特征在于，所述多个人体部位包括：头部、肩部、腰部、膝部及脚部；
其中，所述处理单元具体用于：根据所述头部、所述肩部、所述腰部、所述膝部及所述脚部的二维坐标，确定第四特征角、第五特征角、第六特征角、第七特征角，和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量，所述第四特征角为所述头部、所述肩部连线与水平方向的夹角，所述第五特征角为所述肩部、所述腰部连线与水平方向的夹角，所述第六特征角为所述腰部、所述膝部的连线与水平方向的夹角，所述第七特征角为所述膝部、所述脚部连线与水平方向的夹角；
将所述第四特征角、所述第五特征角、所述第六特征角、所述第七特征角和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为行走。
9.如权利要求8所述的装置，其特征在于，所述处理单元具体还用于：
将所述第四特征角、所述第五特征角、所述第六特征角、所述第七特征角和所述第四特征角、所述第五特征角、所述第六特征角及所述第七特征角在相邻两帧的所述人体图像中的变化量输入所述行为识别网络模型，得到所述目标人体的行为类别为跑步。
10.如权利要求6-9任一项所述的装置，其特征在于，所述处理单元具体用于：
将所述人体部位包括的所述至少一个骨骼关键点的二维坐标的平均值确定为所述人体部位的二维坐标。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202310152941.6A 2023-02-16 2023-02-16 轻量化的人体行为识别方法及装置 Pending CN116246343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310152941.6A CN116246343A (zh) 2023-02-16 2023-02-16 轻量化的人体行为识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310152941.6A CN116246343A (zh) 2023-02-16 2023-02-16 轻量化的人体行为识别方法及装置

Publications (1)

Publication Number Publication Date
CN116246343A true CN116246343A (zh) 2023-06-09

Family

ID=86627364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310152941.6A Pending CN116246343A (zh) 2023-02-16 2023-02-16 轻量化的人体行为识别方法及装置

Country Status (1)

Country Link
CN (1) CN116246343A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278837A (zh) * 2023-11-16 2023-12-22 新乡天辅电子科技有限公司 一种面向应急救援的摄像设备控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278837A (zh) * 2023-11-16 2023-12-22 新乡天辅电子科技有限公司 一种面向应急救援的摄像设备控制方法
CN117278837B (zh) * 2023-11-16 2024-01-26 新乡天辅电子科技有限公司 一种面向应急救援的摄像设备控制方法

Similar Documents

Publication Publication Date Title
Nadeem et al. Human actions tracking and recognition based on body parts detection via Artificial neural network
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
US11741736B2 (en) Determining associations between objects and persons using machine learning models
CN111666857B (zh) 基于环境语义理解的人体行为识别方法、装置及存储介质
Tang et al. A real-time hand posture recognition system using deep neural networks
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
US20220254157A1 (en) Video 2D Multi-Person Pose Estimation Using Multi-Frame Refinement and Optimization
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
Weiyao et al. Human action recognition using multilevel depth motion maps
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN116246343A (zh) 轻量化的人体行为识别方法及装置
CN114241597A (zh) 一种姿态识别方法及其相关设备
CN112115790A (zh) 人脸识别方法、装置、可读存储介质和电子设备
Cao et al. Human posture recognition using skeleton and depth information
Xu et al. Multi-task learning for object keypoints detection and classification
Xu et al. A novel method for hand posture recognition based on depth information descriptor
CN115223240A (zh) 基于动态时间规整算法的运动实时计数方法和系统
CN110148202B (zh) 用于生成图像的方法、装置、设备和存储介质
Li Badminton motion capture with visual image detection of picking robotics
CN112183155A (zh) 动作姿态库建立、动作姿态生成、识别方法及装置
Siddiqi et al. Edge detection-based feature extraction for the systems of activity recognition
CN112446919B (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN113643348B (zh) 一种人脸属性分析方法及装置
Zhou et al. OpenPose Based Posture Analysis of Basketball Players

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination