CN109409209A - 一种人体行为识别方法与装置 - Google Patents

一种人体行为识别方法与装置 Download PDF

Info

Publication number
CN109409209A
CN109409209A CN201811057906.1A CN201811057906A CN109409209A CN 109409209 A CN109409209 A CN 109409209A CN 201811057906 A CN201811057906 A CN 201811057906A CN 109409209 A CN109409209 A CN 109409209A
Authority
CN
China
Prior art keywords
human
activity recognition
recognition model
model
bodys
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811057906.1A
Other languages
English (en)
Inventor
朱常玉
周冠宇
温云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jay Communications Planning And Design Institute Co Ltd
GCI Science and Technology Co Ltd
Original Assignee
Guangzhou Jay Communications Planning And Design Institute Co Ltd
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jay Communications Planning And Design Institute Co Ltd, GCI Science and Technology Co Ltd filed Critical Guangzhou Jay Communications Planning And Design Institute Co Ltd
Priority to CN201811057906.1A priority Critical patent/CN109409209A/zh
Publication of CN109409209A publication Critical patent/CN109409209A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体行为识别方法与装置，该方法包括：根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。采用多个序贯模型搭建的中间层以构建行为识别模型，既能有效解决现有技术行为识别精度低，识别效率低的问题，又能有效简化操作，有利于产品化。

Description

一种人体行为识别方法与装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人体行为识别方法与装置。
背景技术
人体行为识别技术是机器视觉领域的重要分支和前沿性技术，可广泛应用于智能视频监控、机器人视觉、人机交互、游戏控制等，应用市场前景广阔。人的各种行为可由人体各骨悟关节点的相对关系进行表征，因此通过描述人体骨悟关节运动的点来识别人体的行为动作完全有效可行。目前常用的识别方法是使用单人检测器来检测识别单个人的行为动作，存在识别精度低、识别时间过长的问题。
发明内容
本发明实施例提供一种人体行为识别方法与装置，能有效解决现有技术存在识别精度低，识别效率低的问题，能有效提高识别精度，且实现快速识别，又能有效简化操作，有利于产品化。
本发明一实施例提供一种人体行为识别方法，包括：
根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；
将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
作为上述方案的改进，所述根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型，具体为：
根据预设的若干种行为，将采集的人体运动图像信息进行分类，得到图像训练样本，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
作为上述方案的改进，所述方法的对所述行为数据集进行预处理，生成对应人体骨架的构造图，具体为：
根据所述行为数据集，提取预设的若干个人体关节点的位置数据，得到人体骨架节点数据；其中，所述人体骨架节点数据包括关节点X方向轴上的数据以及关节点Y方向轴上的数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
作为上述方案的改进，所述行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
作为上述方案的改进，所述方法还包括：
所述每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
作为上述方案的改进，所述将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果，具体为：
获取摄像头捕获到的人体运动图像信息；
对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
根据所述人体骨架节点信息，采用所处行为识别模型进行行为识别，确定捕获到的行为类别。
作为上述方案的改进，所述对所述人体运动图像信息进行预处理，得到人体骨架节点信息，具体为：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息以及关节点Y方向轴上的信息。
本发明另一实施例对应提供了一种人体行为识别装置，包括：
模型构建模块，用于根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；
行为识别模块，用于将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
本发明另一实施例提供了一种人体行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的人体行为识别方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的人体行为识别方法。
与现有技术相比，本发明实施例公开的一种人体行为识别方法通过根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为分类结果，既能有效解决现有技术存在识别精度低，识别效率低的问题，又能通过采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
附图说明
图1是本发明一实施例提供的一种人体行为识别方法的流程示意图；
图2是本发明一实施例提供的行为识别模型的结构图；
图3是本发明一实施例提供的老人看护的行为识别过程示意图；
图4是本发明一实施例提供的一种人体行为识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种人体行为识别方法的流程示意图，包括：
S11、根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；
具体地，步骤S11中该行为识别模型的构建包括：
根据预设的若干种行为，将采集的人体运动图像信息进行分类，得到图像训练样本，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
具体地，步骤S11中对该行为数据集进行预处理，包括：
根据所述行为数据集，提取预设的若干个人体关节点的位置数据，得到人体骨架节点数据；其中，所述人体骨架节点数据包括关节点X方向轴上的数据以及关节点Y方向轴上的数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
优选地，该行为识别模型的结构包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
优选地，每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
S12、将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
具体地，步骤S12包括：
获取摄像头捕获到的人体运动图像信息；
对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
根据所述人体骨架节点信息，采用所处行为识别模型进行行为识别，确定捕获到的行为类别。
其中，对人体运动图像信息进行预处理，具体为：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息以及关节点Y方向轴上的信息。
在本实施例中，通过根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果，既能有效解决现有技术存在识别精度低，识别效率低的问题，又能通过采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
在另一优选实施例中，在上述实施例的基础上，将所述人体行为识别方法应用于老人看护的场景中。
具体地，步骤S11中包括根据预设的若干种行为，将采集的人体运动图像信息进行分类，得到图像训练样本，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别。
可以理解的是，本实施例的行为类别包括：跌倒、坠床、呛咳、噎食、碰撞外物、正常；其中，跌倒、坠床、呛咳、噎食、碰撞外物属于异常行为类别。
进一步，针对以上6种行为制作老年人行为数据集，其中一种行为由3个不同的人在不同场景下摄取共120个小视频，每个视频控制在8-10s。
具体地，步骤S11中包括对所述行为数据集进行预处理，生成对应人体骨架的构造图。
优选地，对所述行为数据集进行预处理，得到人体骨架节点数据，对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
具体地，步骤S11中包括采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
进一步，该行为识别模型的训练还包括针对深度卷积神经网络的输出结果利用损失函数计算损失值，利用随机梯度下降算法进行优化迭代，迭代次数设置为80，完成训练，得到行为识别模型并保存下来。
优选地，损失函数采用交叉熵损失函数，具体为：
根据以下公式计算交叉熵：
其中，为交叉熵，是第i个样本为类别j的真实标签，是模型计算出的类别j的概率值，q是类别数；
根据以下公式计算损失值：
其中，L为损失函数，n是样本总数。
参见图2，是本发明一实施例提供的行为识别模型的结构图，包括一个输入层、一个输出层以及采用Sequential容器搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
例如，本实施例中的序贯模型采用Sequential容器。
优选地，序贯模型的特性为单输入单输出，层与层之间只有相邻关系，能有效实现模型快速编译，简化操作。
优选地，每一个中间层包括归一化模块、激活模块以及二维卷积模块。
进一步，该二维卷积模块的卷积核为9*9，卷积步长为1。
可以理解的是，输入层接收预处理后的人体骨架构造图。
优选地，归一化模块的方法为批量归一化，在模型训练时，对于深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化，因此使用批量归一化利用小批量上的均值和标准差，不断调整神经网络中间输出，从而归一化层用于保持数值稳定性，提升模型精度和收敛速度则归一化层的计算方法为：
根据以下公式计算均值：
其中，μ为均值，m为样本数据总数，xi为第i个样本的数据值；
根据以下公式计算方差：
其中，δ为方差；
根据以下公式计算标准化处理后的数据值：
其中，ai为标准化处理后的数据值，为常数，且大于0；
根据以下公式计算归一化输出值：
yi＝γai+β
其中，yi为归一化输出值，γ为拉升参数，β为偏移值。
优选地，该激活模块对归一化模块的输出结果进行非线性映射。激活函数为一个简单的非线性变换函数，解决线性模型所不能解决的问题。本实施例采用RELU激活函数为relu(x)＝max(x,0)。RELU激活函数相比与其他激活函数具有最大优点是不会同时激活所有神经元从而使得计算具有高效性。
优选地，二维卷积模块计算主要是用来提取主要特征的,本实施例设置卷积模块的卷积核为9*9，步长为1，得到的行为识别模型效果最好。
其中，本方案采用二维卷积，因为三维卷积计算量大且耗时严重，并不适合进行实时监测。
优选地，输出层输出该行为识别模型的输出结果。本实施例中输出结果为一个二维矩阵(N，class)其中N为批量输入样本数，class为5，每一列代表每种行为的概率。
参见图3，是本发明一实施例提供的老人看护的行为识别过程示意图，包括：
S21、获取摄像头捕获到的老人运动图像信息；
S22、对所述老人运动图像信息进行预处理，得到人体骨架节点信息；
S23、根据所述人体骨架节点信息，采用所处行为识别模型进行行为识别，确定捕获到的老人的行为信息；
S24、当识别到所述行为信息属于异常行为时，将该老人身份信息和对应的行为信息发送至语音播报系统，以对捕获到的老人进行语音提醒。
优选地，步骤S21中包括在老人活动场安装摄像头，通过深度摄像头实时获取老人活动图像信息。
具体地，步骤S22的图像预处理的方法包括：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息以及关节点Y方向轴上的信息。
优选地，对获取的每帧图像进行预处理，包括提取每帧图像中每个人的18个节点位置信息；其中，每一个节点含有X、Y坐标轴位置信息。
具体地，步骤S24包括将预处理后得到的人体骨架节点信息输入该训练后的行为识别模型，根据行为识别模型计算出所属类别作进一步判断分析，如若为事故行为，则转至语音播报系统，及时通知人员对发生事故行为老人进行处理，如若识别为正常行为则不做进一步处理。
本实施例中，通过根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；将捕获到的老人运动图像信息输入到所述行为识别模型，得到行为识别结果，既能有效解决针对在特定场景制作特定行为数据集进行模型训练，提高特定场景应用精度，实时检测预警，以减少人力成本或因人为疏忽导致的损失，又能通过采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
参见图4，是本发明一实施例提供的一种人体行为识别装置的结构示意图。
在另一优选实施例中，在上述实施例的基础上，一种人体行为识别装置，包括：
模型构建模块1，用于根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层。
在一种可选的实施例中，该模型构建模块1包括：
行为数据集构建单元，用于根据预设的若干种行为，将采集的人体运动图像信息进行分类，得到图像训练样本，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
第一预处理单元，用于对所述行为数据集进行预处理，生成对应人体骨架的构造图；
训练单元，用于采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
在一种可选的实施例中，该第一预处理单元包括：
数据提取单元，用于根据所述行为数据集，提取预设的若干个人体关节点的位置数据，得到人体骨架节点数据；其中，所述人体骨架节点数据包括关节点X方向轴上的数据以及关节点Y方向轴上的数据；
构造图生成单元，用于对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
在一种可选的实施例中，该行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
在一种可选的实施例中，该行为识别模型还包括：每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
行为识别模块2，用于将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
在一种可选的实施例中，该行为识别模块2包括：
图像获取单元，用于获取摄像头捕获到的人体运动图像信息；
第二预处理单元，用于对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
识别单元，用于根据所述人体骨架节点信息，采用所处行为识别模型进行行为识别，确定捕获到的行为类别。
在一种可选的实施例中，该第二预处理单元包括：
关节位置信息提取单元，用于根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息以及关节点Y方向轴上的信息。
本实施例所述的基于一种人体行为识别装置是对应上一实施例所述的一种人体行为识别方法的产品，其原理和实现的技术效果与上述实施例所述的人体行为识别方法相同，在此不在重复描述。
相比于现有技术，本实施例的有益效果在于：所述一种人体行为识别方法，包括：通过根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果，既能有效解决现有技术存在识别精度低，识别效率低的问题，又能通过采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
本发明另一实施例提供了一种人体行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现以上任意一项所述的人体行为识别方法。
本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行以上任意一项所述的人体行为识别方法。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述人体行为识别装置的控制中心，利用各种接口和线路连接整个人体行为识别装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人体行为识别装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人体行为识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人体行为识别方法，其特征在于，包括：
根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；
将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
2.如权利要求1所述的人体行为识别方法，其特征在于，所述根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型，具体为：
根据预设的若干种行为，将采集的人体运动图像信息进行分类，得到图像训练样本，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
3.如权利要求2所述的人体行为识别方法，其特征在于，所述方法的对所述行为数据集进行预处理，生成对应人体骨架的构造图，具体为：
根据所述行为数据集，提取预设的若干个人体关节点的位置数据，得到人体骨架节点数据；其中，所述人体骨架节点数据包括关节点X方向轴上的数据以及关节点Y方向轴上的数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
4.如权利要求1所述的人体行为识别方法，其特征在于，所述行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
5.如权利要求4所述的人体行为识别方法，其特征在于，所述方法还包括：
所述每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
6.如权利要求1所述的人体行为识别方法，其特征在于，所述将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果，具体为：
获取摄像头捕获到的人体运动图像信息；
对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
根据所述人体骨架节点信息，采用所述行为识别模型进行行为识别，确定捕获到的行为类别。
7.如权利要求6所述的人体行为识别方法，其特征在于，所述对所述人体运动图像信息进行预处理，得到人体骨架节点信息，具体为：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息以及关节点Y方向轴上的信息。
8.一种人体行为识别装置，其特征在于，包括：
模型构建模块，用于根据预先采集的图像训练样本对预先建立的深度卷积神经网络进行训练，得到行为识别模型；其中，所述行为识别模型包括多个采用序贯模型搭建的中间层；
行为识别模块，用于将捕获到的人体运动图像信息输入到所述行为识别模型，得到行为识别结果。
9.一种人体行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的人体行为识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的人体行为识别方法。
CN201811057906.1A 2018-09-11 2018-09-11 一种人体行为识别方法与装置 Pending CN109409209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811057906.1A CN109409209A (zh) 2018-09-11 2018-09-11 一种人体行为识别方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811057906.1A CN109409209A (zh) 2018-09-11 2018-09-11 一种人体行为识别方法与装置

Publications (1)

Publication Number Publication Date
CN109409209A true CN109409209A (zh) 2019-03-01

Family

ID=65464785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057906.1A Pending CN109409209A (zh) 2018-09-11 2018-09-11 一种人体行为识别方法与装置

Country Status (1)

Country Link
CN (1) CN109409209A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法
CN111062269A (zh) * 2019-11-25 2020-04-24 珠海格力电器股份有限公司 一种用户状态识别方法、装置、存储介质及空调
CN111382403A (zh) * 2020-03-17 2020-07-07 同盾控股有限公司 用户行为识别模型的训练方法、装置、设备及存储介质
WO2021217937A1 (zh) * 2020-04-27 2021-11-04 平安国际智慧城市科技股份有限公司 姿态识别模型的训练方法及设备、姿态识别方法及其设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105160310A (zh) * 2015-08-25 2015-12-16 西安电子科技大学 基于3d卷积神经网络的人体行为识别方法
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
US20170293804A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep 3d attention long short-term memory for video-based action recognition
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105160310A (zh) * 2015-08-25 2015-12-16 西安电子科技大学 基于3d卷积神经网络的人体行为识别方法
CN105631420A (zh) * 2015-12-23 2016-06-01 武汉工程大学 一种基于3d骨架的多视角室内人体行为识别方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
US20170293804A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Deep 3d attention long short-term memory for video-based action recognition
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高志强 等: "《深度学习 从入门到实战》", 30 June 2018, 北京：中国铁道出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法
CN111062269A (zh) * 2019-11-25 2020-04-24 珠海格力电器股份有限公司 一种用户状态识别方法、装置、存储介质及空调
CN111382403A (zh) * 2020-03-17 2020-07-07 同盾控股有限公司 用户行为识别模型的训练方法、装置、设备及存储介质
WO2021217937A1 (zh) * 2020-04-27 2021-11-04 平安国际智慧城市科技股份有限公司 姿态识别模型的训练方法及设备、姿态识别方法及其设备

Similar Documents

Publication Publication Date Title
CN109145868A (zh) 一种辅助跑步训练的行为识别方法与装置
CN109409209A (zh) 一种人体行为识别方法与装置
CN110188635B (zh) 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN113439727B (zh) 大棚农作物的除虫方法、装置、设备及存储介质
CN114359727B (zh) 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN109145837A (zh) 人脸情感识别方法、装置、终端设备和存储介质
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
KR102393265B1 (ko) 버섯 병해충 검출 시스템
CN110458109A (zh) 一种基于图像识别技术的茶叶病害识别系统及工作方法
CN108596014A (zh) 牲畜行为分析方法及装置
Seo et al. A yolo-based separation of touching-pigs for smart pig farm applications
WO2022183805A1 (zh) 视频分类方法、装置及设备
CN110264407A (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
Raj et al. Fruit Classification Comparison Based on CNN and YOLO
CN112287741A (zh) 基于图像处理的农事操作管理方法及装置
CN109460792A (zh) 一种基于图像识别的人工智能模型训练方法及装置
CN111967406A (zh) 人体关键点检测模型生成方法、系统、设备和存储介质
Chegini et al. Designing and developing a weed detection model for California thistle
Rajeshram et al. Leaf diseases prediction pest detection and pesticides recommendation using deep learning techniques
CN115937579A (zh) 基于深度学习的植物病害识别方法和系统
CN206542450U (zh) 一种具有机器学习能力的驾驶状态采集分析系统
Yadav et al. Crop disease prediction and solution
Deng et al. A real-time sheep counting detection system based on machine learning.
CN111161397B (zh) 人脸三维重建方法、装置、电子设备及可读存储介质
CN106407732A (zh) 识别目标对象状态的方法、装置及系统和智能服饰

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301

RJ01 Rejection of invention patent application after publication