CN109145868A - 一种辅助跑步训练的行为识别方法与装置 - Google Patents

一种辅助跑步训练的行为识别方法与装置 Download PDF

Info

Publication number
CN109145868A
CN109145868A CN201811057015.6A CN201811057015A CN109145868A CN 109145868 A CN109145868 A CN 109145868A CN 201811057015 A CN201811057015 A CN 201811057015A CN 109145868 A CN109145868 A CN 109145868A
Authority
CN
China
Prior art keywords
information
behavior
human body
face
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811057015.6A
Other languages
English (en)
Inventor
朱常玉
周冠宇
温云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jay Communications Planning And Design Institute Co Ltd
GCI Science and Technology Co Ltd
Original Assignee
Guangzhou Jay Communications Planning And Design Institute Co Ltd
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jay Communications Planning And Design Institute Co Ltd, GCI Science and Technology Co Ltd filed Critical Guangzhou Jay Communications Planning And Design Institute Co Ltd
Priority to CN201811057015.6A priority Critical patent/CN109145868A/zh
Publication of CN109145868A publication Critical patent/CN109145868A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种辅助跑步训练的行为识别方法与装置，该方法包括：获取摄像头捕获到的人脸图像信息和人体运动图像信息；对所述人脸图像信息进行特征提取，得到人脸特征信息；对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；对所述人体运动图像信息进行预处理，得到人体骨架节点信息；根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒，能有效实现实时对用户的不当行为给予预警，制止不良后果的发生。

Description

一种辅助跑步训练的行为识别方法与装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种辅助跑步训练的行为识别方法与装置。
背景技术
人体行为识别是人工智能领域内一个新兴的研究方向，具有广泛的应用前景和非常可观的经济价值。随着素质教育的重点推进，中小学内对体育教学的投入越来越大，尽管如此，由于体育类教师资源缺少以及户外教学限制，学生运动习惯和运动水平提高依然面临挑战。跑步作为一项集聚众多优点的运动项目，通常是学生重点训练以及必考科目，但是由于跑步场地空旷以及学生自律约束性不足问题，一般会出现学生中途步行、间断休息等教师难以全面管制的情况，从而达不到训练效果，此外若学生在跑步中途下蹲，不仅达不到跑步效果还会损害身体。通常情况下，骨架的移动往往涵盖了重要的行为信息。现有技术未对某人的行为进行实时分析和提醒，从而无法及时制止不良后果的发生。
发明内容
本发明实施例提供一种辅助跑步训练的行为识别方法与装置，能有效实现实时对用户的不当行为给予预警，制止不良后果的发生，以减少人力成本，同时能够提高识别精度，且实现快速识别，操作简单，有利于产品化。
本发明一实施例提供一种辅助跑步训练的行为识别方法，包括：
获取摄像头捕获到的人脸图像信息和人体运动图像信息；
对所述人脸图像信息进行特征提取，得到人脸特征信息；
对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；
当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
作为上述方案的改进，所述对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息，具体为：
根据所述人脸特征信息，采用一预设的人脸识别模型进行人脸识别，以确定捕获到的用户对应的个人身份信息。
作为上述方案的改进，所述对所述人体运动图像信息进行预处理，得到人体骨架节点信息，具体为：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息、关节点Y方向轴上的信息以及关节点Z方向轴上的信息。
作为上述方案的改进，所述方法还包括所述行为识别模型的构建步骤：
根据预设的若干种行为，将获取的人体运动图像信息进行分类，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
作为上述方案的改进，所述对所述行为数据集进行预处理，生成对应人体骨架的构造图，具体为：
根据所述行为数据集，提取预设的若干个人体关节点信息，得到人体骨架节点数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
作为上述方案的改进，所述行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
作为上述方案的改进，所述方法还包括：
所述每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
本发明另一实施例对应提供了一种辅助跑步训练的行为识别装置，包括：
图像获取模块，用于获取摄像头捕获到的人脸图像信息和人体运动图像信息；
人脸特征提取模块，用于对所述人脸图像信息进行特征提取，得到人脸特征信息；
人脸识别模块，用于对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
预处理模块，用于对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
行为识别模块，用于根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；
提醒模块，用于当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
本发明另一实施例提供了一种辅助跑步训练的行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的一种辅助跑步训练的行为识别方法。
本发明另一实施例提供了一种计算机存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的一种辅助跑步训练的行为识别方法。
与现有技术相比，本发明实施例公开的一种辅助跑步训练的行为识别方法通过获取摄像头捕获到的人脸图像信息和人体运动图像信息；对所述人脸图像信息进行特征提取，得到人脸特征信息；对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；对所述人体运动图像信息进行预处理，得到人体骨架节点信息；根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒，既能有效实现实时对用户的不当行为给予预警，制止不良后果的发生，以减少人力成本，又能够通过针对在特定场景制作特定行为数据集进行模型训练，提高特定场景应用精度，又采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
附图说明
图1是本发明一实施例提供的一种辅助跑步训练的行为识别方法的流程示意图；
图2是本发明一实施例提供的行为识别模型的结构图；
图3是本发明一实施例提供的一种辅助跑步训练的行为识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种辅助跑步训练的行为识别方法的流程示意图，包括：
S11、获取摄像头捕获到的人脸图像信息和人体运动图像信息。
优选地，在训练场地安装深度摄像头，从深度摄像头实时获取学生运动图像信息以及人脸图像信息。
S12、对所述人脸图像信息进行特征提取，得到人脸特征信息。
S13、对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
具体地，步骤S13包括根据所述人脸特征信息，采用一预设的人脸识别模型进行人脸识别，以确定捕获到的用户对应的个人身份信息。
S14、对所述人体运动图像信息进行预处理，得到人体骨架节点信息。
具体地，步骤S14为根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息、关节点Y方向轴上的信息以及关节点Z方向轴上的信息。
优选地，对获取的运动图像信息进行预处理，包括对每帧图像数据利用kinectSDK工具包获取人体骨架节点数据，每一张图像中每一个人用25个节点表示，每一个节点含有X、Y、Z三个坐标轴位置信息。
其中，因对学生运动姿势识别是更为精细的行为识别，常规二维节点达不到需要的精度，因此采用包含深度信息的三维节点能更好识别行为。
S15、根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为。
其中，该行为识别模型的构建，具体为：
根据预设的若干种行为，将获取的人体运动图像信息进行分类，并构建行为数据集；其中，所述数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
可以理解的是，本实施例的行为类别包括：跑步、行走、蹲下、弯腰以及打闹。其中，行走、蹲下、弯腰以及打闹属于异常行为类别，跑步属于正常行为类别。
进一步，针对以上5种行为制作学生跑步行为数据集，其中一种行为由3个不同的人在不同场景下摄取共120个小视频，每个视频控制在8-10s。
具体地，步骤S15中还包括：
根据所述行为数据集，提取预设的若干个人体关节点信息，得到人体骨架节点数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
进一步，该行为识别模型的训练还包括针对深度卷积神经网络的输出结果利用损失函数计算损失值，利用随机梯度下降算法进行优化迭代，迭代次数设置为80，完成训练，得到行为识别模型并保存下来。
其中，损失函数采用交叉熵损失函数，具体为：
根据以下公式计算交叉熵：
其中，为交叉熵，是第i个样本为类别j的真实标签，是模型计算出的类别j的概率值，q是类别数；
根据以下公式计算损失值：
其中，L为损失函数，n是样本总数。
参见图2，是本发明一实施例提供的行为识别模型的结构图，包括一个输入层、一个输出层以及采用Sequential容器搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
例如，本实施例中的序贯模型采用Sequential容器。
优选地，序贯模型的特性为单输入单输出，模块与模块之间只有相邻关系，能有效实现模型快速编译，简化操作。
优选地，该行为识别模型中每一个中间层包括归一化模块、激活模块以及二维卷积模块。
进一步，所述二维卷积模块的卷积核为9*9，卷积步长为1。
可以理解的是，输入层接收预处理后的人体骨架构造图。
优选地，归一化模块的方法为批量归一化，在模型训练时，对于深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化，因此使用批量归一化利用小批量上的均值和标准差，不断调整神经网络中间输出，从而归一化层用于保持数值稳定性，提升模型精度和收敛速度则归一化层的计算方法为：
根据以下公式计算均值：
其中，μ为均值，m为样本数据总数，xi为第i个样本的数据值；
根据以下公式计算方差：
其中，δ为方差；
根据以下公式计算标准化处理后的数据值：
其中，ai为标准化处理后的数据值，为常数，且大于0；
根据以下公式计算归一化输出值：
yi＝γai+β
其中，yi为归一化输出值，γ为拉升参数，β为偏移值。
优选地，该激活模块对归一化模块的输出结果进行非线性映射。激活函数为一个简单的非线性变换函数，解决线性模型所不能解决的问题。本实施例采用RELU激活函数，公式为relu(x)＝max(x,0)。RELU激活函数相比与其他激活函数具有最大优点是不会同时激活所有神经元从而使得计算具有高效性。
优选地，二维卷积模块计算主要是用来提取主要特征的,本实施例设置卷积模块的卷积核为9*9，步长为1，得到的行为识别模型效果最好。
其中，本方案采用二维卷积，因为三维卷积计算量大且耗时严重，并不适合进行实时监测。
优选地，输出层输出该行为识别模型的输出结果。本实施例中输出结果为一个二维矩阵(N，class)其中N为批量输入样本数，class为5，每一列代表每种行为的概率。
S16、当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
可以理解的是，根据行为识别模型计算出所属类别作进一步判断分析，如若为行走，则转至语音播报系统，广播该学生目前行为并提醒该生应继续跑步，如若识别为蹲下行为，则语音广播告知该学生不应蹲下，可选择缓慢步行休息。如若识别为正常跑步，则不做进一步处理。
在本实施例中，通过获取摄像头捕获到的人脸图像信息和人体运动图像信息；对所述人脸图像信息进行特征提取，得到人脸特征信息；对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；对所述人体运动图像信息进行预处理，得到人体骨架节点信息；根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒,既能有效实现实时对用户的不当行为给予预警，制止不良后果的发生，以减少人力成本，又能够通过针对在特定场景制作特定行为数据集进行模型训练，提高特定场景应用精度，又采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
参见图3，是本发明一实施例提供的一种辅助跑步训练的行为识别装置的结构示意图。
在另一优选实施例中，在上述实施例的基础上，一种辅助跑步训练的行为识别装置，包括：
图像获取模块1，用于获取摄像头捕获到的人脸图像信息和人体运动图像信息；
特征提取模块2，用于对所述人脸图像信息进行特征提取，得到人脸特征信息；
人脸识别模块3，用于对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
在一种可选的实施例中，所述人脸识别模块3包括：
人脸识别单元，用于根据所述人脸特征信息，采用一预设的人脸识别模型进行人脸识别，以确定捕获到的用户对应的个人身份信息。
预处理模块4，用于对所述人体运动图像信息进行预处理，得到人体骨架节点信息。
在一种可选的实施例中，所述预处理模块4包括：
预处理单元，用于根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息、关节点Y方向轴上的信息以及关节点Z方向轴上的信息。
行为识别模块5，用于根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为。
在一种可选的实施例中，所述行为识别模块5包括：
行为数据集构建单元，用于根据预设的若干种行为，将获取的人体运动图像信息进行分类，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
预处理单元，用于对所述行为数据集进行预处理，生成对应人体骨架的构造图；
行为识别模型构建单元，用于采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
在一种可选的实施例中，所述预处理单元包括：
关节信息提取单元，用于根据所述行为数据集，提取预设的若干个人体关节点信息，得到人体骨架节点数据；
构造图生成单元，用于对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
在一种可选的实施例中，所述行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
在一种可选的实施例中，所述行为识别模型还包括：所述每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
提醒模块6，用于当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
本实施例所述的基于一种辅助跑步训练的行为识别装置是对应上一实施例所述的一种辅助跑步训练的行为识别方法的产品，其原理和实现的技术效果与上一实施例所述的一种辅助跑步训练的行为识别方法相同，在此不在重复描述。
相比于现有技术，本实施例的有益效果在于：所述一种辅助跑步训练的行为识别方法，包括：通过获取摄像头捕获到的人脸图像信息和人体运动图像信息；对所述人脸图像信息进行特征提取，得到人脸特征信息；对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；对所述人体运动图像信息进行预处理，得到人体骨架节点信息；根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒,既能有效实现实时对用户的不当行为给予预警，制止不良后果的发生，以减少人力成本，又能够通过针对在特定场景制作特定行为数据集进行模型训练，提高特定场景应用精度，又采用序贯模型搭建行为识别模型能实现模型快速编译，有效提高识别效率，以及简化操作，有利于产品化。
本发明另一实施例提供了一种辅助跑步训练的行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现以上任意一项所述的辅助跑步训练的行为识别方法。
本发明另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行以上任意一项所述的辅助跑步训练的行为识别方法。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述辅助跑步训练的行为识别装置的控制中心，利用各种接口和线路连接整个辅助跑步训练的行为识别装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述辅助跑步训练的行为识别装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述辅助跑步训练的行为识别装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种辅助跑步训练的行为识别方法，其特征在于，包括：
获取摄像头捕获到的人脸图像信息和人体运动图像信息；
对所述人脸图像信息进行特征提取，得到人脸特征信息；
对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；
当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
2.如权利要求1所述的辅助跑步训练的行为识别方法，其特征在于，所述对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息，具体为：
根据所述人脸特征信息，采用一预设的人脸识别模型进行人脸识别，以确定捕获到的用户对应的个人身份信息。
3.如权利要求1所述的辅助跑步训练的行为识别方法，其特征在于，所述对所述人体运动图像信息进行预处理，得到人体骨架节点信息，具体为：
根据所述人体运动图像信息，提取预设的若干个人体关节点的位置信息，得到人体骨架节点信息；其中，所述人体骨架节点信息包括关节点X方向轴上的信息、关节点Y方向轴上的信息以及关节点Z方向轴上的信息。
4.如权利要求1所述的辅助跑步训练的行为识别方法，其特征在于，所述方法还包括所述行为识别模型的构建步骤：
根据预设的若干种行为，将获取的人体运动图像信息进行分类，并构建行为数据集；其中，所述行为数据集包括正常行为类别和异常行为类别；
对所述行为数据集进行预处理，生成对应人体骨架的构造图；
采用所述构造图对预先建立的深度卷积神经网络进行训练,得到行为识别模型。
5.如权利要求4所述的辅助跑步训练的行为识别方法，其特征在于，所述对所述行为数据集进行预处理，生成对应人体骨架的构造图，具体为：
根据所述行为数据集，提取预设的若干个人体关节点信息，得到人体骨架节点数据；
对所述人体骨架节点数据进行模型化处理，生成对应人体骨架的构造图。
6.如权利要求1所述的辅助跑步训练的行为识别方法，其特征在于，所述行为识别模型包括：一个输入层、一个输出层以及采用序贯模型搭建的依次相连的六个中间层；其中，所述输入层的输出端与第一中间层相连接，第六中间层的输出端与所述输出层的输入端相连接。
7.如权利要求6所述的辅助跑步训练的行为识别方法，其特征在于，所述方法还包括：
所述每一个中间层包括归一化模块、激活模块以及二维卷积模块；其中，所述二维卷积模块的卷积核为9*9，卷积步长为1。
8.一种辅助跑步训练的行为识别装置，其特征在于，包括：
图像获取模块，用于获取摄像头捕获到的人脸图像信息和人体运动图像信息；
人脸特征提取模块，用于对所述人脸图像信息进行特征提取，得到人脸特征信息；
人脸识别模块，用于对所述人脸特征信息进行人脸识别，确定捕获到的用户对应的个人身份信息；
预处理模块，用于对所述人体运动图像信息进行预处理，得到人体骨架节点信息；
行为识别模块，用于根据所述人体骨架节点信息，采用预设的行为识别模型进行行为识别，确定捕获到的用户对应的行为信息，并判断所述行为信息是否属于异常行为；
提醒模块，用于当判断到所述行为信息属于异常行为时，将所述个人身份信息和所述行为信息发送至语音播报系统，以对捕获到的用户进行语音提醒。
9.一种辅助跑步训练的行为识别装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的辅助跑步训练的行为识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的一种辅助跑步训练的行为识别方法。
CN201811057015.6A 2018-09-11 2018-09-11 一种辅助跑步训练的行为识别方法与装置 Pending CN109145868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811057015.6A CN109145868A (zh) 2018-09-11 2018-09-11 一种辅助跑步训练的行为识别方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811057015.6A CN109145868A (zh) 2018-09-11 2018-09-11 一种辅助跑步训练的行为识别方法与装置

Publications (1)

Publication Number Publication Date
CN109145868A true CN109145868A (zh) 2019-01-04

Family

ID=64824402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057015.6A Pending CN109145868A (zh) 2018-09-11 2018-09-11 一种辅助跑步训练的行为识别方法与装置

Country Status (1)

Country Link
CN (1) CN109145868A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096957A (zh) * 2019-03-27 2019-08-06 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法
CN111291664A (zh) * 2020-01-22 2020-06-16 杭州市第一人民医院 供电方法、装置、计算机设备和存储介质
CN111382403A (zh) * 2020-03-17 2020-07-07 同盾控股有限公司 用户行为识别模型的训练方法、装置、设备及存储介质
CN111464780A (zh) * 2020-03-12 2020-07-28 北京邮电大学 一种基于边云协同的风险行为预警系统、方法及装置
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN112541382A (zh) * 2020-04-13 2021-03-23 深圳优地科技有限公司 一种辅助运动的方法、系统以及识别终端设备
CN113204009A (zh) * 2021-05-12 2021-08-03 深圳康佳电子科技有限公司 跑步步长提醒方法、装置、终端及计算机可读存储介质
CN113938613A (zh) * 2021-11-26 2022-01-14 上海徐工智能科技有限公司 一种工程机械用户数据采集装置及方法
CN110321852B (zh) * 2019-07-05 2022-06-14 创优数字科技(广东)有限公司 一种动作类型识别方法、装置、存储介质及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105718889A (zh) * 2016-01-21 2016-06-29 江南大学 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN107563281A (zh) * 2017-07-24 2018-01-09 南京邮电大学 一种基于深度学习的建筑工地人员安全隐患监测方法
CN107610393A (zh) * 2017-09-21 2018-01-19 深圳市鑫汇达机械设计有限公司 一种办公室智能监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105718889A (zh) * 2016-01-21 2016-06-29 江南大学 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN106203363A (zh) * 2016-07-15 2016-12-07 中国科学院自动化研究所 人体骨架运动序列行为识别方法
CN107563281A (zh) * 2017-07-24 2018-01-09 南京邮电大学 一种基于深度学习的建筑工地人员安全隐患监测方法
CN107610393A (zh) * 2017-09-21 2018-01-19 深圳市鑫汇达机械设计有限公司 一种办公室智能监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO LI，ET AL: "Skeleton Based Action Recognition Using", 《ARXIV PREPRINT ARXIV: 1704.05645V2》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096957A (zh) * 2019-03-27 2019-08-06 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统
CN110096957B (zh) * 2019-03-27 2023-08-08 苏州清研微视电子科技有限公司 基于面部识别和行为识别融合的疲劳驾驶监测方法和系统
CN110321852B (zh) * 2019-07-05 2022-06-14 创优数字科技(广东)有限公司 一种动作类型识别方法、装置、存储介质及计算机设备
CN110781771A (zh) * 2019-10-08 2020-02-11 北京邮电大学 一种基于深度学习的异常行为实时监测方法
CN111291664A (zh) * 2020-01-22 2020-06-16 杭州市第一人民医院 供电方法、装置、计算机设备和存储介质
CN111464780A (zh) * 2020-03-12 2020-07-28 北京邮电大学 一种基于边云协同的风险行为预警系统、方法及装置
CN111382403A (zh) * 2020-03-17 2020-07-07 同盾控股有限公司 用户行为识别模型的训练方法、装置、设备及存储介质
CN112541382A (zh) * 2020-04-13 2021-03-23 深圳优地科技有限公司 一种辅助运动的方法、系统以及识别终端设备
CN111966223B (zh) * 2020-08-17 2022-06-28 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN113204009A (zh) * 2021-05-12 2021-08-03 深圳康佳电子科技有限公司 跑步步长提醒方法、装置、终端及计算机可读存储介质
CN113204009B (zh) * 2021-05-12 2023-12-22 深圳康佳电子科技有限公司 跑步步长提醒方法、装置、终端及计算机可读存储介质
CN113938613A (zh) * 2021-11-26 2022-01-14 上海徐工智能科技有限公司 一种工程机械用户数据采集装置及方法

Similar Documents

Publication Publication Date Title
CN109145868A (zh) 一种辅助跑步训练的行为识别方法与装置
Xie et al. Scut-fbp: A benchmark dataset for facial beauty perception
CN108388876A (zh) 一种图像识别方法、装置以及相关设备
CN110852360B (zh) 图像情感识别方法、装置、设备及存储介质
Gardner et al. Supervised learning in spiking neural networks for precise temporal encoding
CN109376844A (zh) 基于云平台和模型推荐的神经网络自动训练方法和装置
CN108780519A (zh) 卷积神经网络中的结构学习
CN107844784A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
CN109635833A (zh) 一种基于云平台和模型智能推荐的图像识别方法及系统
EP3644786B1 (en) Method for treating a surface
CN108108807A (zh) 学习型图像处理方法、系统及服务器
CN109145871A (zh) 心理行为识别方法、装置与存储介质
CN110610125A (zh) 基于神经网络的牛脸识别方法、装置、设备及存储介质
US20230259739A1 (en) Image detection method and apparatus, computer-readable storage medium, and computer device
CN110458109A (zh) 一种基于图像识别技术的茶叶病害识别系统及工作方法
CN109567313B (zh) 一种具有生物特征识别功能的智能鞋垫
CN109409209A (zh) 一种人体行为识别方法与装置
CN110516734A (zh) 一种图像匹配方法、装置、设备及存储介质
Khashman Blood cell identification using emotional neural networks.
CN109599178A (zh) 阈值判定模型确定方法、装置、医疗检测设备及存储介质
CN112364737A (zh) 一种用于网络直播课的人脸表情识别方法、装置及设备
CN109242089B (zh) 递进监督深度学习神经网络训练方法、系统、介质和设备
CN110909621A (zh) 一种基于视觉的健身指导系统
CN109377577A (zh) 一种基于人脸识别的考勤方法、系统及存储装置
CN109359675A (zh) 图像处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication