CN110197116A - 一种人体行为识别方法、装置和计算机可读存储介质 - Google Patents

一种人体行为识别方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN110197116A
CN110197116A CN201910299663.0A CN201910299663A CN110197116A CN 110197116 A CN110197116 A CN 110197116A CN 201910299663 A CN201910299663 A CN 201910299663A CN 110197116 A CN110197116 A CN 110197116A
Authority
CN
China
Prior art keywords
skeleton
frame
channel
space
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910299663.0A
Other languages
English (en)
Other versions
CN110197116B (zh
Inventor
李岩山
郭天宇
夏荣杰
刘星
徐健杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910299663.0A priority Critical patent/CN110197116B/zh
Priority to PCT/CN2019/102980 priority patent/WO2020211242A1/zh
Publication of CN110197116A publication Critical patent/CN110197116A/zh
Application granted granted Critical
Publication of CN110197116B publication Critical patent/CN110197116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体行为识别方法、装置及计算机可读存储介质，其中，本发明能够使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明融入帧间信息形成骨架序列的时空信息，从而本发明可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。

Description

一种人体行为识别方法、装置和计算机可读存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种人体行为识别方法、装置和计算机可读存储介质。
背景技术
近年来，行为识别在智能监控、人机交互、虚拟现实等方面有着广泛应用。在现有技术中，行为识别主要依赖于手工特征，这样由原始关节点的坐标提取出来的特征有着很强的物理意义，能够很直观而且有效地表示骨架的空间信息和时间信息，但也具有相对的局限性，无法表征出更深层次的关系，而且相关的复杂数学计算拖慢了计算速度。另一方面，一些端到端的深度学习网络从原始的数据出发，在行为识别任务上具有更好的表现，比如常用的CNN(Convolutional Neural Networks，卷积神经网络)和LSTM(Long Short-TermMemory，长短期记忆网络)，但同样面临着计算量大以及表征意义不明确等挑战。
发明内容
本发明所要解决的技术问题在于，提供一种人体行为识别方法、装置和计算机可读存储介质，用于识别人体行为。
本发明第一方面公开了一种人体行为识别方法，该方法包括：
基于骨架样本，按照预设的建模规则建立人体行为识别模型，所述识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重；
获取目标骨架的图像信息，其中，所述图像信息包括若干帧图像；
使用所述识别模型分析所述若干帧图像，并生成所述若干帧图像中每一帧图像对应的空间特征；
按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，并生成所述每一帧图像对应的RGB像素信息；
按照时间先后顺序对所述若干帧图像中的所述每一帧图像对应的所述RGB像素信息进行排列，并将排列结果标记为所述目标骨架的时空特征；
使用预设的神经网络对所述时空特征进行分析，并根据分析结果确定所述目标骨架对应的行为标签。
在本发明第一方面中，可选地，所述按照预设的建模规则建立人体行为识别模型，包括：
按照预设的划分尺度将所述骨架样本划分为若干层子骨架样本，其中，所述若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置所述每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权所述每一层子骨架样本对应的权重，并根据加权结果确定所述识别模型。
在本发明第一方面中，可选地，所述按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，包括：
建立正交平面坐标系，其中，所述平面坐标系中的x轴都表示R通道，所述平面坐标系中的y轴都表示G通道,所述平面坐标系中的z轴表示B通道；
获取所述每一帧图像在所述正交平面坐标系上形成的投影，其中，所述投影包括所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值；
基于所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值，生成所述RGB像素信息。
在本发明第一方面中，可选地，所述神经网络包括卷积器、完全连接器、过滤器。
在本发明第一方面中，可选地，所述预设的神经网络对所述时空特征进行分析，包括：
使用卷积器对所述时空特征进行卷积计算并生成卷积结果；
将所述卷积结果输入所述完全连接层，以使得所述完全连接层对所述卷积结果进行处理；
使用过滤器对所述完全连接层的处理结果进行过滤。
在本发明第一方面中，可选地，所述卷积器的数量为5个，所述完全连接层的数量为3个。
在本发明第一方面中，可选地，所述完全连接层包括4096个神经元。
在本发明第一方面中，可选地，在所述使用识别模型分析所述若干帧图像之前，所述方法还包括：
按照预设的图像调整规则调整所述若干帧图像的规格。
本发明第二方面公开了一种人体行为识别装置，该装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如本发明第一方面所述的人体识别方法。
本发明第三方面公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有批处理日志查询程序，所述批处理日志查询程序被处理器执行时，执行本发明第一方面所述的人体识别方法。
与现有技术相比，本发明具有如下有益效果：
本发明将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明融入帧间信息形成骨架序列的时空信息，从而本发明可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种人体行为识别方法的流程示意图；
图2是本发明实施例公开的识别模型的示意图；
图3是本发明实施例公开的正交平面坐标系的示意图；
图4是本发明实施例公开的神经网络的结构示意图；
图5是本发明实施例公开的一种人体行为识别装置的结构示意图。
具实施方式
为了更好地理解和实施，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例公开的一种人体行为识别方法的流程示意图，如图1所示，该人体行为识别方法包括以下步骤：
101、基于骨架样本，按照预设的建模规则建立人体行为识别模型，识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重。
示例性地，请参阅图2，图2是识别模型的示意图。基于图2，骨架样本用S表示，且基于空间金字塔的思想确定尺度集{0,1,...,L}，然后使用尺度集{0,1,...,L}将S进行划分成若干个子骨架；用Fl表示骨架S在l层的特征，且尺度l下的特征权重wl可由公式(1)得到：
进而，根据公式(1)，骨架样本S在一帧内的空间特征F可以用公式(2)表示，即：
其中，公式(2)可以作为识别目标骨架的识别模型，且该识别模型能够将目标骨架在不同层次的空间特征加权聚集在一起，进而，目标骨架的细节特征被放大，从而通过识别目标骨架的特征识别人体行为。
102、获取目标骨架的图像信息，其中，图像信息包括若干帧图像。
103、使用识别模型分析若干帧图像，并生成若干帧图像中每一帧图像对应的空间特征。
104、按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，并生成每一帧图像对应的RGB像素信息。
105、按照时间先后顺序对若干帧图像中的每一帧图像对应的RGB像素信息进行排列，并将排列结果标记为目标骨架的时空特征。
在一些实施方式中，可选地，按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，包括：
建立正交平面坐标系，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通道；
获取每一帧图像在正交平面坐标系上形成的投影，其中，投影包括每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值；
基于每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值，生成RGB像素信息。
示例性地，请参阅图3，图3是正交平面坐标的示意图，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通。另一方面，用PR表示每一帧图像在R通道上的像素值，PG表示每一帧图像在G通道上的像素值，PB表示每一帧图像在B通道上的像素值，且PR、PG、PB可以通过公式(3)、公式(4)、公式(5)计算确定，即:
106、使用预设的神经网络对时空特征进行分析，并根据分析结果确定目标骨架对应的行为标签。
在一些实施方式中，可选地，按照预设的建模规则建立人体行为识别模型，包括：
按照预设的划分尺度将骨架样本划分为若干层子骨架样本，其中，若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权每一层子骨架样本对应的权重，并根据加权结果确定识别模型。
如图4所示，在一些实施方式中，可选地，神经网络包括卷积器、完全连接器、过滤器。
在一些实施方式中，可选地，使用预设的神经网络对时空特征进行分析，包括：
使用卷积器对时空特征进行卷积计算并生成卷积结果；
将卷积结果输入完全连接层，以使得完全连接层对卷积结果进行处理；
使用过滤器对完全连接层的处理结果进行过滤。
在一些实施方式中，可选地，卷积器的数量为5个，完全连接层的数量为3个。
在一些实施方式中，可选地，完全连接层包括4096个神经元。
在一些实施方式中，可选地，在使用识别模型分析若干帧图像之前，一种人体行为识别方法还包括:
按照预设的图像调整规则调整若干帧图像的规格。
可见，本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例二
请参阅图5，图5是本发明实施例公开了一种人体识别装置的结构示意图，其中，该装置包括构建模块201、获取模块202、第一分析模块203、图像处理模块204、排序模块205、第二分析模块206，其中：
构建模块201，用于基于骨架样本，按照预设的建模规则建立人体行为识别模型，识别模型包括若个子骨架关节点及每个子骨架关节点对应的权重。
示例性地，请参阅图2，图2是识别模型的示意图。基于图2，骨架样本用S表示，且基于空间金字塔的思想确定尺度集{0,1,...,L}，然后使用尺度集{0,1,...,L}将S进行划分成若干个子骨架；用Fl表示骨架S在l层的特征，且尺度l下的特征权重wl可由公式(1)得到：
进而，根据公式(1)，骨架样本S在一帧内的空间特征F可以用公式(2)表示，即：
其中，公式(2)可以作为识别目标骨架的识别模型，且该识别模型能够将目标骨架在不同层次的空间特征加权聚集在一起，进而，目标骨架的细节特征被放大，从而通过识别目标骨架的特征识别人体行为。
获取模块202，用于在构建模块201按照预设的建模规则建立人体行为识别模型之后，获取目标骨架的图像信息，其中，图像信息包括若干帧图像。
第一分析模块203，用于使用识别模型分析若干帧图像，并生成若干帧图像中每一帧图像对应的空间特征。
图像处理模块204，用于按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，并生成每一帧图像对应的RGB像素信息。
排序模块205，用于按照时间先后顺序对若干帧图像中的每一帧图像对应的RGB像素信息进行排列，并将排列结果标记为目标骨架的时空特征。
在一些实施方式中，可选地，图像处理模块204执行按照预设的图像处理规则对每一帧图像对应的空间特征进行处理，包括以下子步骤：
建立正交平面坐标系，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通道；
获取每一帧图像在正交平面坐标系上形成的投影，其中，投影包括每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值；
基于每一帧图像在R通道上的像素值、每一帧图像在G通道上的像素值和每一帧图像在B通道上的像素值，生成RGB像素信息。
示例性地，请参阅图3，图3是正交平面坐标的示意图，其中，平面坐标系中的x轴都表示R通道，平面坐标系中的y轴都表示G通道,平面坐标系中的z轴表示B通。另一方面，用PR表示每一帧图像在R通道上的像素值，PG表示每一帧图像在G通道上的像素值，PB表示每一帧图像在B通道上的像素值，且PR、PG、PB可以通过公式(3)、公式(4)、公式(5)计算确定，即:
第二分析模块206，用于使用预设的神经网络对时空特征进行分析，并根据分析结果确定目标骨架对应的行为标签。
在一些实施方式中，可选地，构建模块201执行按照预设的建模规则建立人体行为识别模型，包括以下子步骤：
按照预设的划分尺度将骨架样本划分为若干层子骨架样本，其中，若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权每一层子骨架样本对应的权重，并根据加权结果确定识别模型。
如图4所示，在一些实施方式中，可选地，神经网络包括卷积器、完全连接器、过滤器。
在一些实施方式中，可选地，第二分析模块206执行使用预设的神经网络对时空特征进行分析，包括以下操作：
使用卷积器对时空特征进行卷积计算并生成卷积结果；
将卷积结果输入完全连接层，以使得完全连接层对卷积结果进行处理；
使用过滤器对完全连接层的处理结果进行过滤。
在一些实施方式中，可选地，卷积器的数量为5个，完全连接层的数量为3个。
在一些实施方式中，可选地，完全连接层包括4096个神经元。
在一些实施方式中，可选地，一种人体行为识别装置还包括预处理模块，其中，预处理模块用于在第一分析模块203使用识别模型分析若干帧图像之前，按照预设的图像调整规则调整若干帧图像的规格。
可见，本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例三
本发明实施例公开的一种人体行为识别装置的结构示意图，该装置可以包括：
存储有可执行程序代码的存储器；
与存储器耦合的处理器；
处理器调用存储器中存储的可执行程序代码，执行实施例一所描述的一种人体行为识别方法中的步骤。
本发明实施例的一种人体识别装置将空间金字塔的思想运用到骨架行为识别上，首先，本发明使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明实施例能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例四
本发明实施例公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一所描述的一种人体行为识别方法中的步骤。
本发明实施例的一种计算机可读存储介质通过执行一种人体行为识别方法，将空间金字塔的思想运用到骨架行为识别上，首先，本发明实施例使用骨架序列空间金字塔模型来建模骨架序列的空间信息，该模型有效地表示了骨架序列帧内的空间信息。其次，本发明实施例融入帧间信息形成骨架序列的时空信息，从而本发明实施例可以更好地将骨架序列的时空信息送入深度神经网络进行学习和分类，因此，本发明能够基于空间金字塔的思想，使用坐标系分层次地表示骨架序列的潜在空间关系并形成骨架序列的时空特征，再将时空特征送入神经网络分析，从而实现人体行为的识别。
实施例五
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一所描述的一种人体行为识别方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种人体行为识别方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种人体行为识别方法，其特征在于，所述方法包括：
基于骨架样本，按照预设的建模规则建立人体行为识别模型，所述识别模型包括若干层子骨架关节点及每层子骨架关节点对应的权重；
获取目标骨架的图像信息，其中，所述图像信息包括若干帧图像；
使用所述识别模型分析所述若干帧图像，并生成所述若干帧图像中每一帧图像对应的空间特征；
按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，并生成所述每一帧图像对应的RGB像素信息；
按照时间先后顺序对所述若干帧图像中的所述每一帧图像对应的所述RGB像素信息进行排列，并将排列结果标记为所述目标骨架的时空特征；
使用预设的神经网络对所述时空特征进行分析，并根据分析结果确定所述目标骨架对应的行为标签。
2.如权利要求1所述的方法，其特征在于，所述按照预设的建模规则建立人体行为识别模型，包括：
按照预设的划分尺度将所述骨架样本划分为若干层子骨架样本，其中，所述若干层子骨架样本中的每一层子骨架样本均包括至少一个子骨架关节点；
按照预设的权重匹配规则设置所述每一层子骨架样本对应的权重，其中，层级越高的子骨架样本的权重越高；
加权所述每一层子骨架样本对应的权重，并根据加权结果确定所述识别模型。
3.如权利要求1所述的方法，其特征在于，所述按照预设的图像处理规则对所述每一帧图像对应的所述空间特征进行处理，包括：
建立正交平面坐标系，其中，所述平面坐标系中的x轴都表示R通道，所述平面坐标系中的y轴都表示G通道,所述平面坐标系中的z轴表示B通道；
获取所述每一帧图像在所述正交平面坐标系上形成的投影，其中，所述投影包括所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值；
基于所述每一帧图像在所述R通道上的像素值、所述每一帧图像在所述G通道上的像素值和所述每一帧图像在所述B通道上的像素值，生成所述RGB像素信息。
4.如权利要求1所述的方法，其特征在于，所述神经网络包括卷积器、完全连接器、过滤器。
5.如权利要求4所述的方法，其特征在于，所述使用预设的神经网络对所述时空特征进行分析，包括：
使用卷积器对所述时空特征进行卷积计算并生成卷积结果；
将所述卷积结果输入所述完全连接层，以使得所述完全连接层对所述卷积结果进行处理；
使用过滤器对所述完全连接层的处理结果进行过滤。
6.如权利要求4所述的方法，其特征在于，所述卷积器的数量为5个，所述完全连接层的数量为3个。
7.如权利要求4所述的方法，其特征在于，所述完全连接层包括4096个神经元。
8.如权利要求1所述的方法，其特征在于，在所述使用识别模型分析所述若干帧图像之前，所述方法还包括:
按照预设的图像调整规则调整所述若干帧图像的规格。
9.一种人体行为识别装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-8任一项所述的人体识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有批处理日志查询程序，所述批处理日志查询程序被处理器执行时，执行如权利要求1-8任一项所述的人体识别方法。
CN201910299663.0A 2019-04-15 2019-04-15 一种人体行为识别方法、装置和计算机可读存储介质 Active CN110197116B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910299663.0A CN110197116B (zh) 2019-04-15 2019-04-15 一种人体行为识别方法、装置和计算机可读存储介质
PCT/CN2019/102980 WO2020211242A1 (zh) 2019-04-15 2019-08-28 一种基于行为识别的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910299663.0A CN110197116B (zh) 2019-04-15 2019-04-15 一种人体行为识别方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110197116A true CN110197116A (zh) 2019-09-03
CN110197116B CN110197116B (zh) 2023-05-23

Family

ID=67751939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910299663.0A Active CN110197116B (zh) 2019-04-15 2019-04-15 一种人体行为识别方法、装置和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110197116B (zh)
WO (1) WO2020211242A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028339A (zh) * 2019-12-06 2020-04-17 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN112580442A (zh) * 2020-12-02 2021-03-30 河海大学 一种基于多维金字塔层次模型的行为识别方法
CN116434339A (zh) * 2023-04-13 2023-07-14 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408433B (zh) * 2021-06-22 2023-12-05 华侨大学 一种智能监控的手势识别方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469318A (zh) * 2010-11-04 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN103593677A (zh) * 2013-12-02 2014-02-19 中国科学院自动化研究所 一种近似重复图像检测方法
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355306B2 (en) * 2013-09-27 2016-05-31 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognition of abnormal behavior
CN105320937B (zh) * 2015-09-25 2018-08-14 北京理工大学 基于Kinect的交警手势识别方法
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN108764107B (zh) * 2018-05-23 2020-09-11 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469318A (zh) * 2010-11-04 2012-05-23 深圳Tcl新技术有限公司 一种2d图像转3d图像的方法
CN103593677A (zh) * 2013-12-02 2014-02-19 中国科学院自动化研究所 一种近似重复图像检测方法
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108304795A (zh) * 2018-01-29 2018-07-20 清华大学 基于深度强化学习的人体骨架行为识别方法及装置
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. CHAUDHRY, F. OFLI, G. KURILLO, R. BAJCSY AND R. VIDAL: "Bio-inspired Dynamic 3D Discriminative Skeletal Features for Human Action Recognition", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028339A (zh) * 2019-12-06 2020-04-17 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN111028339B (zh) * 2019-12-06 2024-03-29 国网浙江省电力有限公司培训中心 一种行为动作建模方法、装置、电子设备和存储介质
CN112580442A (zh) * 2020-12-02 2021-03-30 河海大学 一种基于多维金字塔层次模型的行为识别方法
CN116434339A (zh) * 2023-04-13 2023-07-14 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法
CN116434339B (zh) * 2023-04-13 2023-10-27 江南大学 基于骨架数据时空特征差异性和相关性的行为识别方法

Also Published As

Publication number Publication date
CN110197116B (zh) 2023-05-23
WO2020211242A1 (zh) 2020-10-22

Similar Documents

Publication Publication Date Title
CN108780519B (zh) 卷积神经网络的结构学习
Han et al. Two-stage learning to predict human eye fixations via SDAEs
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
Pathak et al. Context encoders: Feature learning by inpainting
CN110197116A (zh) 一种人体行为识别方法、装置和计算机可读存储介质
Zahavy et al. Graying the black box: Understanding dqns
CN106982359B (zh) 一种双目视频监控方法、系统和计算机可读存储介质
WO2021143101A1 (zh) 人脸识别方法和人脸识别装置
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN108229280A (zh) 时域动作检测方法和系统、电子设备、计算机存储介质
CN107844784A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
Stoddard et al. Animal coloration patterns: linking spatial vision to quantitative analysis
CA2941250A1 (en) Methods and apparatus for autonomous robotic control
EP4212100A1 (en) Electroencephalogram signal classification method and apparatus, and device, storage medium and program product
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN111783997B (zh) 一种数据处理方法、装置及设备
CN107944398A (zh) 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN110390307B (zh) 表情识别方法、表情识别模型训练方法及装置
CN108416797A (zh) 一种检测行为变化的方法、设备及存储介质
CN107025267A (zh) 基于抽取视频关键逻辑信息检索视频的方法及系统
CN113591797B (zh) 一种深度视频行为识别方法
CN115019382A (zh) 区域确定方法、装置、设备、存储介质和程序产品
Kaya et al. Binary classification of criminal tools from the images of the case using CNN
CN110532869A (zh) 表情识别方法、装置及计算机可读存储介质
Shanmugapriya et al. An Effective Technique to Track Objects with the Aid of Rough Set Theory and Evolutionary Programming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant