CN108052896A - 基于卷积神经网络与支持向量机的人体行为识别方法 - Google Patents

基于卷积神经网络与支持向量机的人体行为识别方法 Download PDF

Info

Publication number
CN108052896A
CN108052896A CN201711314480.9A CN201711314480A CN108052896A CN 108052896 A CN108052896 A CN 108052896A CN 201711314480 A CN201711314480 A CN 201711314480A CN 108052896 A CN108052896 A CN 108052896A
Authority
CN
China
Prior art keywords
joint
rgb image
support vector
human
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711314480.9A
Other languages
English (en)
Other versions
CN108052896B (zh
Inventor
雷欢
程韬波
马敬奇
周志刚
何峰
周广兵
卢杏坚
吴亮生
王楠
钟震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Guangdong Institute of Intelligent Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201711314480.9A priority Critical patent/CN108052896B/zh
Publication of CN108052896A publication Critical patent/CN108052896A/zh
Application granted granted Critical
Publication of CN108052896B publication Critical patent/CN108052896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

基于卷积神经网络与支持向量机的人体行为识别方法，包括步骤：通过摄像头获取包含人的RGB图像；对RGB图像进行特征提取，形成一组卷积特征图；将提卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的关节点信息以及关节关联信息，通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；对获得的人体骨骼序列数据进行归一化处理；通过多分类支持向量机对人体骨骼序列图进行识别分类。本发明通过人体骨骼信息的提取与处理来识别人体行为，具有良好的鲁棒性及准确率，可基于常规视频监控系统所采集的二维图像数据进行实时行为识别分析，在智能安防、生产安全等领域的应用具有普适性和实用意义。

Description

基于卷积神经网络与支持向量机的人体行为识别方法
技术领域
本发明涉及计算机视觉、机器学习和模式识别技术领域，特别涉及一种基于双分支卷积神经网络与多分类支持向量机的可用于RGB图像中人体行为的识别方法。
背景技术
人体行为识别技术是机器视觉领域的重要分支和前沿性技术，可广泛应用于智能视频监控、机器人视觉、人机交互、游戏控制等，应用市场前景广阔。人的各种行为可由人体各骨骼关节点的相对关系进行表征，因此通过描述人体骨骼关节运动的点来识别人体的行为动作完全有效可行。目前通过深度摄像头RGB-D图像来进行基于人体骨骼的行为识别，但深度摄像头由于包含深度传感器其成本高且不适用普通监控场景，无法针对现有监控摄像头进行识别处理。同时目前常用的识别方法是使用单人检测器来检测识别单个人的行为动作，具有一定的局限，例如若图像中多人之间有接触、自遮挡和物体遮挡的情况下，检测识别容易发生错误，且若图像中人数过多，检测的时间会明显过长。因此，目前现有的行为识别方法难以在视频监控、机器人视觉等领域进行推广与应用。
发明内容
本发明要解决的技术问题是提供一种基于卷积神经网络与支持向量机的人体行为识别方法，通过人体骨骼信息的提取与处理来识别人体行为，具有良好的鲁棒性及准确率。
为了解决上述技术问题，本发明采取以下技术方案：
基于卷积神经网络与支持向量机的人体行为识别方法，包括以下步骤：
S1，通过摄像头获取包含人的RGB图像；
S2，对RGB图像进行特征提取，形成一组卷积特征图；
S3，将提取的卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的若干个关节点信息以及关节关联信息，并通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；
S4，对获得的人体骨骼序列数据进行归一化处理；
S5，通过多分类支持向量机对人体骨骼序列图进行识别分类，从而实现人体行为的识别。
所述步骤S2具体为：构建16层的VGG神经网络模型，利用该VGG神经网络模型对RGB图像进行分析并生成一组卷积特征图。
所述步骤S3具体包括以下步骤：
S3.1，将卷积特征图输入到双分支深度卷积神经网络的两个分支中，在第一阶段中，双分支深度卷积神经网络分别预测生成一组关节点图和一组人体的关节关联部位图，在接下来的阶段t中，t≥2，卷积特征图以及前一阶段生成的关节点图和关节关联部位图作为当前阶段的输入，为当前阶段的每个关节不确定的空间位置置信度和关节的关联域分数进行非参数编码，从而得到当前阶段的优化后的关节点图和关节关联部位图，遍历每个阶段，最终得到RGB图像中所有的关节点信息及关节关联信息；
S3.2，在获得RGB图像中所有的关节点和关节关联信息后，采用二分图匹配算法逐步进行局部寻优，最终获得最佳关节匹配，从而获得RGB图像中所有人的人体骨骼序列数据；
S3.3，对获得的人体骨骼序列数据进行归一化处理，并通过组合多个支持向量机分类器来实现多分类器的构造，从而实现多种人体行为的识别分类。
所述步骤S3.1中，每个阶段预测生成的关节点和关节关联部位分别由以下式(1)和(2)表示：
设输入的RGB图像的尺寸大小为(w,h)，RGB图像中的人体关节点J＝(1,2,...,j)，图像中人物的关节关联部位c＝{1,2,...,c}，Z是RGB图像所有位置的集合，RGB图像中所有关节点j的图像位置Y＝(Y1,Y2,...,Yj),在双分支深度卷积神经网络的分支Ⅰ中，由预测器预测每个阶段中每个关节的位置，在分支Ⅱ中，由预测器预测每个阶段中相邻两关节间的关联程度；
在式(1)和式(2)中，XZ表示在位置Z处的RGB图像提取的特征以及在前一阶段每个Yj邻域中的上下文信息，是由在第t阶段中分支Ⅰ的预测器预测RGB图像位置z处关节j的置信度分数，是在第t阶段中分支Ⅱ的预测器预测RGB图像位置z处关节j的关联分数；ψt>1()表示的是置信度分数bt-1的空间上下文特征的映射，ρt>1()表示的是关节的关联分数rt-1的空间上下文映射。
所述步骤S3.2具体为：
从RGB图像中的多个人获取的一组待检测的身体关节Dj，其中Nj为关节点j的数量，而是第m个人的身体关节点j的图像位置；
检测两个关节是否匹配，通过定义一个计算结果符合该式，则表示两个待检测关节点存在关联关系，若计算结果不符合该式，则表示两个待检测关节点不存在关联关系，从而找到所有关节关联的最优匹配的集合
对于第c个关节关联部位的两个关节，采用二分图匹配的Hopcroft-Karp算法找到所选边的最大权重匹配来获取最优匹配。
所述人体骨骼的关节点具体包括：左眼、右眼、鼻子、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝、右脚。
所述步骤S5中基于多分类支持向量机的行为识别过程，具体为：
S5.1，在获得人体骨骼序列数据的信息后，为每个人体行为标注若干训练样本；
S5.2，基于训练样本的数据对采用的多分类支持向量机进行训练；
S5.3，采用训练的多分类支持向量机对采集的人体骨骼数据的信息进行分类，实现人体行为识别。
本发明是通过人体骨骼信息的提取与处理来识别人体行为，具有良好的鲁棒性及准确率，且可基于常规视频监控系统所采集的二维图像数据进行实时行为识别分析，在智能安防、生产安全等领域的应用具有普适性和实用意义，尤其是适用于用作现有视频监控系统、人机交互系统等的智能行为分析与后处理。
附图说明
附图1为本发明流程示意图；
附图2为本发明的双分支卷积神经网络模型架构图。
附图3为一种常用的人体骨骼关节点示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1-3所示，本发明揭示了一种基于卷积神经网络与支持向量机的人体行为识别方法，包括以下步骤：
S1，通过摄像头获取包含人的RGB图像。可通过特定的摄像头获取指定区域的RGB图像，该RGB图像中可包含多个人。
S2，通过16层的VGG神经网络模型对RGB图像进行分析，并生成一组特征图。
S3，将提取的卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的若干个关节点信息以及关节关联信息，并通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息。
S4，对获得的人体骨骼序列数据进行归一化处理，人体骨骼的关节点具体包括：左眼、右眼、鼻子、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝、右脚，以上列举并非是限定。
S5，通过多分类支持向量机对人体骨骼序列图进行识别分类，从而实现人体行为的识别。
所述步骤S3具体包括以下步骤：
S3.1，将卷积特征图输入到双分支深度卷积神经网络的两个分支中，在第一阶段中，双分支深度卷积神经网络分别预测生成一组关节点图和一组人体的关节关联部位图，在接下来的阶段t中，8≥t≥2，卷积特征图以及前一阶段生成的关节点图和关节关联部位图作为当前阶段的输入，为当前阶段的每个关节不确定的空间位置置信度和关节的关联域分数进行非参数编码，从而得到当前阶段的更精准细化的关节点图和关节关联部位图，以此类推，终得到RGB图像中所有的关节点信息及关节关联信息。具体的计算方式如下所示：
设输入的RGB图像的尺寸大小为(w,h)，RGB图像中的人体关节点J＝(1,2,...,j)，图像中人物的关节关联部位c＝{1,2,...,c}，Z是RGB图像所有位置的集合，RGB图像中所有关节点j的图像位置Y＝(Y1,Y2,...,Yj),在双分支深度卷积神经网络的分支Ⅰ中，由预测器预测卷积深度神经网络的层次结构中的每个阶段中每个关节的位置，在分支Ⅱ中，由预测器预测每个阶段中相邻两关节间的关联程度。每个阶段预测生成的关节点和关节关联部位分别由以下式(1)和(2)表示：
在式(1)和式(2)中，XZ表示在位置Z处的RGB图像提取的特征以及在前一阶段每个Yj邻域中的上下文信息，是由在第t阶段中分支Ⅰ的预测器预测RGB图像位置z处关节j的置信度分数，是在第t阶段中分支Ⅱ的预测器预测RGB图像位置z处关节j的关联分数；ψt>1()表示的是置信度分数bt-1的空间上下文特征的映射，ρt>1()表示的是关节的关联分数rt-1的空间上下文映射。代表的是在第t阶段中关节j的置信度分数，bt-1是针对所有关节点的通用因式。
在双分支深度卷积神经网络中的每个阶段输出处分别定义一个损失函数，在第t阶段的损失函数分别为：
一个分支对应一个损失函数。其中为关节j的理想置信度分数，两关节间的理想关联分数。每个阶段通过损失函数补充梯度来解决训练时梯度消失的问题，总目标为：
本发明双分支深度卷积神经网络采用了四个3x3深度卷积层和两个1x1的深度卷积层组成的一个深度卷积网络架构，输入图像尺寸为368x368。在图2的分支Ⅰ中，网络在第一阶段中通过特征图预测关节的置信度分数。在分支Ⅱ中预测关节间的关联域分数，并将获取的关节点图与关节关联部位图作为输出向量，传递给第二阶段。而对于给定一组检测到的身体关节点，采用的方法是检测关联部位的每对关节之间的附加中点，并检查其在候选关节之间分离的发生率，从而判定两两关节是否真实相连。在第二阶段，结合卷积特征图，预测器对输入图像进行分析迭代，预测出当前阶段更精确的关节点图和关联部位图。通过学习关节间潜在复杂性的相关性，在后续阶段(t≥2)预测器通过选择最具有预测性的特征来自由的组合上下文信息，预测出更精确的关节点和关节关联部位。
S3.2，在获得RGB图像中所有的关节点和关节关联信息后，采用二分图匹配算法逐步进行局部寻优，最终获得最佳关节匹配，从而获得RGB图像中所有人的人体骨骼序列数据。具体计算方式如下所示：
从RGB图像中的多个人获取的一组待检测的身体关节Dj，其中Nj为关节点j的数量，而是第m个人的身体关节点j的图像位置；
检测两个关节是否匹配，通过定义一个计算结果符合该式，则表示两个待检测关节点存在关联关系，若计算结果不符合该式，则表示两个待检测关节点不存在关联关系，从而找到所有关节关联的最优匹配的集合对于第c个关节关联部位的两个关节(如颈部和右臂)，匹配到最佳关联退化为最大权重的二分图匹配问题。而在二分图的匹配中，顶点可以分成两个不相交的集使得在同一个集内的顶点不相邻(没有共同边)，此处采用二分图匹配的Hopcroft-Karp算法找到所选边的最大权重匹配来获取最优匹配，即为局部寻优。
S3.3，对获得的人体骨骼序列数据进行归一化处理，并通过组合多个支持向量机分类器来实现多分类器的构造，从而实现多种人体行为的识别分类。
在步骤S3中的人体骨骼序列数据是基于图像坐标系来获得RGB图像中人体骨骼坐标数据，图像坐标系为常规的坐标系结构。为了消除人所处图像位置对行为识别结果的影响，需要对获得人体骨骼数据进行坐标归一化处理。具体过程为：以人体骨骼的胸颈处节点、左右肩关节点和左右髋关节点构成的多边形的几何中心作为新的人体骨骼坐标系原点，对于所述人体骨骼数据序列中的各节点坐标数据进行平移，得到归一化后的人体骨骼关节点坐标数据。
其中，S5所述基于多分类支持向量机的行为识别过程，具体过程为：S5.1，在获得人体骨骼序列数据的信息后，为每个人体行为标注若干训练样本。
S5.2，基于训练样本的数据对采用的多分类支持向量机进行训练。
S5.3，采用训练的多分类支持向量机对采集的人体骨骼数据的信息进行分类，实现人体行为识别。
上述改进多分类支持向量机模型通过组合多个二分类器为实现多分类器的构造，从而实现多个人体行为的识别分类。本发明采用的是多项式核函数及one-against-one算法实现的；其原理是在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM。当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别，最终基于骨骼数据实现人体行为识别。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于卷积神经网络与支持向量机的人体行为识别方法，包括以下步骤：
S1，通过摄像头获取包含人的RGB图像；
S2，对RGB图像进行特征提取，形成一组卷积特征图；
S3，将提取的卷积特征图输入双分支深度卷积神经网络模型进行处理，获取RGB图像中人的若干个关节点信息以及关节关联信息，并通过关节匹配生成人体骨骼序列数据，关节关联信息是指相邻关节间相互关联的信息；
S4，对获得的人体骨骼序列数据进行归一化处理；
S5，通过多分类支持向量机对人体骨骼序列图进行识别分类，从而实现人体行为的识别。
2.根据权利要求1所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S2具体为：构建16层的VGG神经网络模型，利用该VGG神经网络模型对RGB图像进行分析并生成一组卷积特征图。
3.根据权利要求2所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S3具体包括以下步骤：
S3.1，将卷积特征图输入到双分支深度卷积神经网络的两个分支中，在第一阶段中，双分支深度卷积神经网络分别预测生成一组关节点图和一组人体的关节关联部位图，在接下来的阶段t中，t≥2，卷积特征图以及前一阶段生成的关节点图和关节关联部位图作为当前阶段的输入，为当前阶段的每个关节不确定的空间位置置信度和关节的关联域分数进行非参数编码，从而得到当前阶段的优化后的关节点图和关节关联部位图，遍历每个阶段，最终得到RGB图像中所有的关节点信息及关节关联信息；
S3.2，在获得RGB图像中所有的关节点和关节关联信息后，采用二分图匹配算法逐步进行局部寻优，最终获得最佳关节匹配，从而获得RGB图像中所有人的人体骨骼序列数据；
S3.3，对获得的人体骨骼序列数据进行归一化处理，并通过组合多个支持向量机分类器来实现多分类器的构造，从而实现多种人体行为的识别分类。
4.根据权利要求3所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S3.1中，每个阶段预测生成的关节点和关节关联部位分别由以下式(1)和(2)表示：
<mrow> <msubsup> <mi>h</mi> <mi>t</mi> <mn>1</mn> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>z</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>&amp;psi;</mi> <mi>t</mi> </msub> <mo>(</mo> <mrow> <mi>z</mi> <mo>,</mo> <msub> <mi>b</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;RightArrow;</mo> <msub> <mrow> <mo>{</mo> <msubsup> <mi>b</mi> <mi>t</mi> <mi>j</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mi>j</mi> </msub> <mo>=</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>}</mo> </mrow> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> <mo>}</mo> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>h</mi> <mi>t</mi> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>z</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>&amp;rho;</mi> <mi>t</mi> </msub> <mo>(</mo> <mrow> <mi>z</mi> <mo>,</mo> <msub> <mi>r</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;RightArrow;</mo> <msub> <mrow> <mo>{</mo> <msubsup> <mi>r</mi> <mi>t</mi> <mi>c</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mi>c</mi> </msub> <mo>=</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>}</mo> </mrow> <mrow> <mi>c</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>c</mi> <mo>}</mo> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
设输入的RGB图像的尺寸大小为(w,h)，RGB图像中的人体关节点J＝(1,2,...,j)，图像中人物的关节关联部位c＝{1,2,...,c}，Z是RGB图像所有位置的集合，RGB图像中所有关节点j的图像位置Y＝(Y1,Y2,...,Yj),在双分支深度卷积神经网络的分支Ⅰ中，由预测器预测每个阶段中每个关节的位置，在分支Ⅱ中，由预测器预测每个阶段中相邻两关节间的关联程度；
在式(1)和式(2)中，XZ表示在位置Z处的RGB图像提取的特征以及在前一阶段每个Yj邻域中的上下文信息，是由在第t阶段中分支Ⅰ的预测器预测RGB图像位置z处关节j的置信度分数，rt c是在第t阶段中分支Ⅱ的预测器预测RGB图像位置z处关节j的关联分数；ψt>1()表示的是置信度分数bt-1的空间上下文特征的映射，ρt>1()表示的是关节的关联分数rt-1的空间上下文映射。
5.根据权利要求4所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S3.2具体为：
从RGB图像中的多个人获取的一组待检测的身体关节Dj，其中Nj为关节点j的数量，而是第m个人的身体关节点j的图像位置；
检测两个关节是否匹配，通过定义一个计算结果符合该式，则表示两个待检测关节点存在关联关系，若计算结果不符合该式，则表示两个待检测关节点不存在关联关系，从而找到所有关节关联的最优匹配的集合
对于第c个关节关联部位的两个关节，采用二分图匹配的Hopcroft-Karp算法找到所选边的最大权重匹配来获取最优匹配。
6.根据权利要求5所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述人体骨骼的关节点具体包括：左眼、右眼、鼻子、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝、右脚。
7.根据权利要求6所述的基于卷积神经网络与支持向量机的人体行为识别方法，其特征在于，所述步骤S5中基于多分类支持向量机的行为识别过程，具体为：
S5.1，在获得人体骨骼序列数据的信息后，为每个人体行为标注若干训练样本；
S5.2，基于训练样本的数据对采用的多分类支持向量机进行训练；
S5.3，采用训练的多分类支持向量机对采集的人体骨骼数据的信息进行分类，实现人体行为识别。
CN201711314480.9A 2017-12-12 2017-12-12 基于卷积神经网络与支持向量机的人体行为识别方法 Active CN108052896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711314480.9A CN108052896B (zh) 2017-12-12 2017-12-12 基于卷积神经网络与支持向量机的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711314480.9A CN108052896B (zh) 2017-12-12 2017-12-12 基于卷积神经网络与支持向量机的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN108052896A true CN108052896A (zh) 2018-05-18
CN108052896B CN108052896B (zh) 2020-06-02

Family

ID=62123675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711314480.9A Active CN108052896B (zh) 2017-12-12 2017-12-12 基于卷积神经网络与支持向量机的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN108052896B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN108830782A (zh) * 2018-05-29 2018-11-16 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN109116984A (zh) * 2018-07-27 2019-01-01 冯仕昌 一种用于三维交互场景的工具箱
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109271886A (zh) * 2018-08-29 2019-01-25 武汉大学 一种教育考试监控视频的人体行为分析方法及系统
CN109344705A (zh) * 2018-08-27 2019-02-15 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN109815816A (zh) * 2018-12-24 2019-05-28 山东山大鸥玛软件股份有限公司 一种基于深度学习的考生考场异常行为分析方法
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110929584A (zh) * 2019-10-28 2020-03-27 九牧厨卫股份有限公司 网络训练方法、监控方法、系统、存储介质和计算机设备
CN111368594A (zh) * 2018-12-26 2020-07-03 中国电信股份有限公司 用于检测关键点的方法和装置
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111860128A (zh) * 2020-06-05 2020-10-30 南京邮电大学 一种基于多流快慢图卷积网络的人体骨骼行为识别方法
CN111881802A (zh) * 2020-07-22 2020-11-03 清华大学 基于双分支时空图卷积网络的交警手势识别方法
CN112418135A (zh) * 2020-12-01 2021-02-26 深圳市优必选科技股份有限公司 人体行为识别方法、装置、计算机设备及可读存储介质
CN113229807A (zh) * 2021-05-17 2021-08-10 四川大学华西医院 人体康复评估装置、方法、电子设备及存储介质
CN113302620A (zh) * 2018-11-13 2021-08-24 辉达公司 使用机器学习模型确定对象与人之间的关联
CN113936339A (zh) * 2021-12-16 2022-01-14 之江实验室 基于双通道交叉注意力机制的打架识别方法和装置
CN114783059A (zh) * 2022-04-20 2022-07-22 浙江东昊信息工程有限公司 一种基于深度相机的寺庙香客参拜管理方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
WO2016114960A1 (en) * 2015-01-12 2016-07-21 Ebay Inc. Joint-based item recognition
CN106228109A (zh) * 2016-07-08 2016-12-14 天津大学 一种基于骨骼运动轨迹的动作识别方法
CN106909887A (zh) * 2017-01-19 2017-06-30 南京邮电大学盐城大数据研究院有限公司 一种基于cnn和svm的动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016114960A1 (en) * 2015-01-12 2016-07-21 Ebay Inc. Joint-based item recognition
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN106228109A (zh) * 2016-07-08 2016-12-14 天津大学 一种基于骨骼运动轨迹的动作识别方法
CN106909887A (zh) * 2017-01-19 2017-06-30 南京邮电大学盐城大数据研究院有限公司 一种基于cnn和svm的动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENGYING XIE ETAL.: ""Multilevel Cloud Detection in Remote Sensing Images Based on Deep Learning"", 《IEEE》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830782A (zh) * 2018-05-29 2018-11-16 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN108830782B (zh) * 2018-05-29 2022-08-05 北京字节跳动网络技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN109116984A (zh) * 2018-07-27 2019-01-01 冯仕昌 一种用于三维交互场景的工具箱
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109344705A (zh) * 2018-08-27 2019-02-15 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统
CN109344705B (zh) * 2018-08-27 2023-05-23 广州烽火众智数字技术有限公司 一种行人行为检测方法和系统
CN109271886A (zh) * 2018-08-29 2019-01-25 武汉大学 一种教育考试监控视频的人体行为分析方法及系统
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109460702B (zh) * 2018-09-14 2022-02-15 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109389089B (zh) * 2018-10-14 2022-03-08 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN113302620A (zh) * 2018-11-13 2021-08-24 辉达公司 使用机器学习模型确定对象与人之间的关联
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN109815816A (zh) * 2018-12-24 2019-05-28 山东山大鸥玛软件股份有限公司 一种基于深度学习的考生考场异常行为分析方法
CN109815816B (zh) * 2018-12-24 2023-02-03 山东山大鸥玛软件股份有限公司 一种基于深度学习的考生考场异常行为分析方法
CN111368594A (zh) * 2018-12-26 2020-07-03 中国电信股份有限公司 用于检测关键点的方法和装置
CN111368594B (zh) * 2018-12-26 2023-07-18 中国电信股份有限公司 用于检测关键点的方法和装置
CN109740516A (zh) * 2018-12-29 2019-05-10 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
CN109740516B (zh) * 2018-12-29 2021-05-14 深圳市商汤科技有限公司 一种用户识别方法、装置、电子设备及存储介质
US11138416B2 (en) 2019-03-22 2021-10-05 Boe Technology Group Co., Ltd. Method and apparatus for recognizing an organism action, server, and storage medium
CN109829451A (zh) * 2019-03-22 2019-05-31 京东方科技集团股份有限公司 生物体动作识别方法、装置、服务器及存储介质
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110135319B (zh) * 2019-05-09 2022-09-16 广州大学 一种异常行为检测方法及其系统
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统
CN110457999B (zh) * 2019-06-27 2022-11-04 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110457999A (zh) * 2019-06-27 2019-11-15 广东工业大学 一种基于深度学习和svm的动物姿态行为估计与心情识别方法
CN110533752A (zh) * 2019-07-23 2019-12-03 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110929584A (zh) * 2019-10-28 2020-03-27 九牧厨卫股份有限公司 网络训练方法、监控方法、系统、存储介质和计算机设备
CN111860128A (zh) * 2020-06-05 2020-10-30 南京邮电大学 一种基于多流快慢图卷积网络的人体骨骼行为识别方法
CN111754620A (zh) * 2020-06-29 2020-10-09 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111754620B (zh) * 2020-06-29 2024-04-26 武汉市东旅科技有限公司 人体空间运动转换方法、转换装置、电子设备及存储介质
CN111881802B (zh) * 2020-07-22 2023-03-28 清华大学 基于双分支时空图卷积网络的交警手势识别方法
CN111881802A (zh) * 2020-07-22 2020-11-03 清华大学 基于双分支时空图卷积网络的交警手势识别方法
WO2022116829A1 (zh) * 2020-12-01 2022-06-09 深圳市优必选科技股份有限公司 人体行为识别方法、装置、计算机设备及可读存储介质
CN112418135A (zh) * 2020-12-01 2021-02-26 深圳市优必选科技股份有限公司 人体行为识别方法、装置、计算机设备及可读存储介质
CN113229807A (zh) * 2021-05-17 2021-08-10 四川大学华西医院 人体康复评估装置、方法、电子设备及存储介质
CN113936339B (zh) * 2021-12-16 2022-04-22 之江实验室 基于双通道交叉注意力机制的打架识别方法和装置
CN113936339A (zh) * 2021-12-16 2022-01-14 之江实验室 基于双通道交叉注意力机制的打架识别方法和装置
CN114783059A (zh) * 2022-04-20 2022-07-22 浙江东昊信息工程有限公司 一种基于深度相机的寺庙香客参拜管理方法和系统

Also Published As

Publication number Publication date
CN108052896B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN108197587B (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
Devanne et al. 3-d human action recognition by shape analysis of motion trajectories on riemannian manifold
WO2013015528A1 (en) Apparatus, method, and medium detecting object pose
CN110378281A (zh) 基于伪3d卷积神经网络的组群行为识别方法
Patruno et al. People re-identification using skeleton standard posture and color descriptors from RGB-D data
CN106548194B (zh) 二维图像人体关节点定位模型的构建方法及定位方法
JP2016091108A (ja) 人体部位検出システムおよび人体部位検出方法
Bhuyan et al. Hand pose identification from monocular image for sign language recognition
Zhou et al. Learning to estimate 3d human pose from point cloud
She et al. A real-time hand gesture recognition approach based on motion features of feature points
CN111444488A (zh) 一种基于动态手势的身份认证方法
Xu et al. Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction
Kumar et al. Early estimation model for 3D-discrete indian sign language recognition using graph matching
JP2005351814A (ja) 検出装置および検出方法
Jangade et al. Study on Deep Learning Models for Human Pose Estimation and its Real Time Application
CN110163112B (zh) 一种考生姿态分割与平滑方法
Yashas et al. Hand gesture recognition: a survey
Faujdar et al. Human Pose Estimation using Artificial Intelligence with Virtual Gym Tracker
Liu et al. Sparse pose regression via componentwise clustering feature point representation
Chen et al. Skeleton moving pose-based human fall detection with sparse coding and temporal pyramid pooling
CN109886320A (zh) 一种人体股骨x光片智能识读方法及系统
Raza et al. An integrative approach to robust hand detection using CPM-YOLOv3 and RGBD camera in real time
Ma et al. Sports competition assistant system based on fuzzy big data and health exercise recognition algorithm
Ghosh et al. Deep learning-based multi-view 3D-human action recognition using skeleton and depth data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 510000 13 building, 100 martyrs Road, Yuexiu District, Guangzhou, Guangdong.

Patentee after: Institute of intelligent manufacturing, Guangdong Academy of Sciences

Address before: 510000 13 building, 100 martyrs Road, Yuexiu District, Guangzhou, Guangdong.

Patentee before: GUANGDONG INSTITUTE OF INTELLIGENT MANUFACTURING

CP01 Change in the name or title of a patent holder