CN110222611A - 基于图卷积网络的人体骨架行为识别方法、系统、装置 - Google Patents
基于图卷积网络的人体骨架行为识别方法、系统、装置 Download PDFInfo
- Publication number
- CN110222611A CN110222611A CN201910446596.0A CN201910446596A CN110222611A CN 110222611 A CN110222611 A CN 110222611A CN 201910446596 A CN201910446596 A CN 201910446596A CN 110222611 A CN110222611 A CN 110222611A
- Authority
- CN
- China
- Prior art keywords
- frame
- identified
- frame sequence
- connection
- human synovial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000000694 effects Effects 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 abstract description 17
- 230000003542 behavioural effect Effects 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000000547 structure data Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置，旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明方法包括：获取骨架视频帧并归一化；构建每一帧图对应的人体关节自然连接图；学习非自然连接边，获得人体关节连接图；为人体关节连接图各条边分配权重值；进行图卷积操作，获得骨架序列的空间信息；在时间维度上进行卷积操作，获得骨架序列的行为类别。本发明自然连接边能够学习到基本的人体行为特征，同时非自然连接边可以学习到附加的行为特征，通过自然连接边和非自然连接边共同构成一张图，可以更加充分的表征人体运动信息，提高识别性能。
Description
技术领域
本发明属于计算机视觉及深度学习领域，具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置。
背景技术
行为识别作为计算机视觉的一个重要研究领域，旨在从一段给定视频中区分出人体所做的行为所属类别。行为识别应用广泛，在智能家居、运动分析、视频监控以及人机交互等多个领域具有重要的研究价值。目前的行为识别方法主要从基于RGB视频和基于人体骨架关节点两个角度进行研究。基于RGB视频的方法易受光照、遮挡的影响，鲁棒性较差，而基于人体骨骼关节点的方法则具有极强的判别性，不受光照影响，对视角变换、尺度变换等都具有较高的鲁棒性。因此，基于人体骨架关节点的行为识别方法也越来越受到研究者的关注。
基于人体骨架节点的行为识别方法主要分为两类，一类是基于传统的机器学习方法，这类方法需要进行手工特征设计，描述行为属性，然后训练分类器，进行行为识别。例如，通过将人体骨架序列建模为图结构，通过图核设计提取不同行为特征，最后利用SVM分类器进行行为识别，这类方法的主要缺点是手工设计的特征表征能力有限，无法保证良好的区分效果；另一类是基于深度学习的方法，这类方法以目标为导向，通过构建不同的深度神经网络架构进行行为识别，使用大量数据训练网络模型，使网络自动学习行为特征，往往能够取得更好的分类效果。例如，基于LSTM的方法在时间上建模，能够更好的描述时间依赖性；通过将整个视频的骨架序列表示为一幅图像的形式，然后采用基于CNN的方法进行卷积，获取每个视频的行为特征，进行行为识别，可以更好地捕获行为的时空特征。
最近，随着图卷积网络(GCN，Graph Convolutional Network)的流行，许多研究者开始从GCN的角度进行研究。但是，在实际工程中，大部分研究基于人体关节点的自然连接图，由于人体关节点的自然连接图并不能充分表征运动特征，例如，在进行“拍手”动作时，人的两只手之间存在交互关系；“摸头”动作中，手和头之间存在交互，而自然连接图中不存在两只手之间、手与头之间的连接，无法表征这些关系。同时，不同图的构建方式，对行为识别的分类结果会也带来很大影响。
发明内容
为了解决现有技术中的上述问题，即基于图卷积神经网络的人体骨架行为识别结果精度不高的问题，本发明提供了一种基于图卷积网络的人体骨架行为识别方法，包括：
步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建待对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；
步骤S30，基于所述待识别骨架序列每一帧图对应的人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。
在一些优选的实施例中，步骤S10中“获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列”，其方法为：
步骤S11，对所述骨架视频进行预设间隔的均匀采样，获得预设帧数的骨架序列；
步骤S12，对所述预设帧数的骨架序列中每一帧关节点坐标值进行归一化处理，获得待识别骨架序列。
在一些优选的实施例中，步骤S20中“对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边”，其方法为：
将所述人体关节自然连接图记做其中，x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；为待识别骨架序列图像帧之间人体关节自然连接图的邻接矩阵；
其中，的维度为N×N，T待识别骨架序列中图像帧数。
在一些优选的实施例中，步骤S30中“基于所述待识别骨架序列每一帧图对应的人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图”，其方法为：
步骤S31，计算所述待识别骨架序列中每一帧图中预设关节点之间的距离；
步骤S32，以所述待识别骨架序列第一帧图中预设关节点之间的距离为初始值，依次计算相邻两帧间对应预设关节点之间距离的相对变化值；
步骤S33，将所述相对变化值低于预设阈值的预设关节点进行连接，作为待识别骨架序列图像帧之间非自然连接边邻接矩阵W1 T,W1 T∈RN×N：
其中，W1 T的维度为N×N，T待识别骨架序列中图像帧数；
步骤S34，将所述人体关节自然连接图的自然连接边邻接矩阵与所述非自热连接边的邻接矩阵进行求和，得到各人体关节连接图的邻接矩阵W以及相应的人体关节连接图G(x,WT)。
在一些优选的实施例中，步骤S40中“分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图”，其方法为：
步骤S41，构建权重矩阵，并对矩阵中所有元素赋值；
步骤S42，将所述赋值后的权重矩阵与人体关节连接图的邻接矩阵对应元素相乘，获得对应的带有不同权重值的人体关节连接图。
在一些优选的实施例中，步骤S50中“对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息”，其方法为：
其中，*代表图卷积操作；代表图卷积核；x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；W为人体关节连接图的邻接矩阵。
在一些优选的实施例中，步骤S31中“计算所述待识别骨架序列中每一帧图中预设关节点之间的距离”，其方法为：
Dt＝[d1，2，d1，3…d1，N，d2，3，d2，4…di，j，…dN-1，N]T，Dt∈RN(N-1)/2
其中，Dt为待识别骨架序列中第t帧图预设关节点之间的距离组成的向量，di，j为关节点i和关节点j之间的欧式距离，N为关节点数量。
在一些优选的实施例中，步骤S32中“依次计算相邻两帧间对应预设关节点之间距离的相对变化值”，其方法为：
Dt，t-1＝Dt-Dt-1
其中，Dt、Dt-1分别为待识别骨架序列中第t帧、第t-1帧图预设关节点之间的距离组成的向量，Dt，t-1为待识别骨架序列中第t帧、第t-1帧图对应预设关节点之间距离的相对变化值。
在一些优选的实施例中，步骤S33中“将所述相对变化值低于预设阈值的预设关节点进行连接”，其方法为：
步骤S331，构建阈值向量Z：
Z＝[L1，L2…Ln…LN(N-1)/2]T
其中，Ln代表Dt中预设关节点的距离变化的下界；
步骤S332，将距离变化小于所述阈值向量下界的预设关节点进行连接。
在一些优选的实施例中，步骤S41中“构建权重矩阵，并对矩阵中所有元素赋值”，其方法为：
步骤S411，构建权重矩阵，并对权重矩阵中所有元素进行初始赋值；
步骤S412，将所述初始赋值后的权重矩阵中的元素作为图卷积网络的训练参数，并通过图卷积网络的反向传播过程更新权重矩阵的元素值；
步骤S413，将元素值更新后的权重矩阵的中的元素作为下一次图卷积网络的训练参数，并通过图卷积网络的反向传播过程再次更新权重矩阵的元素值；
步骤S414，重复执行步骤S413直至达到预设的结束条件。
本发明的另一方面，提出了一种基于图卷积网络的人体骨架行为识别系统，包括骨架序列获取模块、人体关节自然连接图构建模块、人体关节连接图构建模块、权重分配模块、图卷积模块、行为识别模块、输出模块；
所述骨架序列获取模块，配置为获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
所述人体关节自然连接图构建模块，配置为对所述待识别骨架序列中每一帧图，根据节点坐标构建对应的人体关节自然连接图；
所述人体关节连接图构建模块，配置为基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
所述权重分配模块，配置为分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
所述图卷积模块，配置为对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
所述行为识别模块，配置为基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别；
所述输出模块，配置为将获取的待识别骨架序列的行为类别输出。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图卷积网络的人体骨架行为识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图卷积网络的人体骨架行为识别方法。
本发明的有益效果：
本发明基于图卷积网络的人体骨架行为识别方法中，自然连接边保证了图卷积网络能够学习到基本的人体行为特征，同时，由于自然连接的关节点间距离不会发生变化，因此不会影响非自然连接边的学习，针对特定行为，非自然连接边可以学习到附加的行为特征，通过自然连接边和非自然连接边共同构成一张图，可以更加充分的表征人体运动信息，提高识别性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于图卷积网络的人体骨架行为识别方法的流程示意图；
图2是本发明基于图卷积网络的人体骨架行为识别方法一种实施例的自然连接边和非自然连接边共同构成人体关节连接图的过程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于图卷积网络的人体骨架行为识别方法，包括：
步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建待对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；
步骤S30，基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。
为了更清晰地对本发明基于图卷积网络的人体骨架行为识别方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于图卷积网络的人体骨架行为识别方法，包括步骤S10-步骤S60，各步骤详细描述如下：
步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列。
在基于人体骨架的行为识别任务中，主流的公开数据集包括Kinects、SYSU-3D、NTU-RGB+D等，其中，NTU-RGB+D是目前最大的，并且应用最为广泛的室内环境行为识别数据集，包含60种行为类别，约56000个视频片段，这些视频片段由三个摄像机从不同视角进行捕获，由Kinect深度传感器提供了每一帧中25个关节点的3D坐标位置，并包含了两个基准实验设置：交叉主体和交叉视角。在交叉主体实验设置中，训练集和测试集数据包含了不同主体执行的行为视频片段；在交叉视角实验设置中，训练集数据包含了从其中两个视角捕获的视频片段，测试集数据包含了第三个视角捕获的视频片段。
步骤S11，对所述骨架视频进行预设间隔的均匀采样，获得预设帧数的骨架序列。
本发明实施例中，控制采样间隔为5-10帧，对输入的骨架视频通过均匀采样获得预设数量的视频帧。
步骤S12，对所述预设帧数的骨架序列中每一帧关节点坐标值进行归一化处理，获得待识别骨架序列。
归一化方法有两种形式，一种是把数变为(0，1)之间的小数，一种是把有量纲表达式变为无量纲表达式。归一化主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，归属于数字信号处理范畴。本发明实施例中，将预设帧数的骨架序列中每一帧关节点坐标值映射到0～1范围之内。
步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边。
将所述人体关节自然连接图记做其中，x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；为待识别骨架序列图像帧之间人体关节自然连接图的邻接矩阵，如式(1)所示：
其中，的维度为N×N，T为待识别骨架序列中图像帧数。
步骤S30，基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图。
步骤S31，计算所述待识别骨架序列中每一帧图中预设关节点之间的距离，如式(2)所示：
Dt＝[d1，2，d1，3…d1，N，d2，3，d2，4…di，j，…dN-1，N]T，Dt∈RN(N-1)/2 式(2)
其中，Dt为待识别骨架序列中第t帧图预设关节点之间的距离组成的向量，di，j为关节点i和关节点j之间的欧式距离，N为关节点数量。
步骤S32，以所述待识别骨架序列第一帧图中预设关节点之间的距离为初始值，依次计算相邻两帧间对应预设关节点之间距离的相对变化值，如式(3)所示：
Dt，t-1＝Dt-Dt-1 式(3)
其中，Dt、Dt-1分别为待识别骨架序列中第t帧、第t-1帧图预设关节点之间的距离组成的向量，Dt,t-1为待识别骨架序列中第t帧、第t-1帧图对应预设关节点之间距离的相对变化值。
步骤S33，将所述相对变化值低于预设阈值的预设关节点进行连接，作为待识别骨架序列图像帧之间非自然连接边邻接矩阵W1 T,W1 T∈RN×N，如式(4)所示：
其中，W1 T的维度为N×N，T为待识别骨架序列中图像帧数。
将所述相对变化值低于预设阈值的预设关节点进行连接，其方法为：
步骤S331，构建阈值向量Z，如式(5)所示：
Z＝[L1，L2…Ln…LN(N-1)/2]T 式(5)
其中，Ln代表Dt中预设关节点的距离变化的下界。
步骤S332，将距离变化小于所述阈值向量下界的预设关节点进行连接。
步骤S34，将所述人体关节自然连接图的自然连接边邻接矩阵与所述非自热连接边的邻接矩阵进行求和，得到各人体关节连接图的邻接矩阵WT以及相应的人体关节连接图G(x,WT)。
WT的计算方法如式(6)所示：
如图2所示，为本发明基于图卷积网络的人体骨架行为识别方法一种实施例的自然连接边和非自然连接边共同构成人体关节连接图的过程示意图，待识别骨架序列包括T帧图像，从t＝0到t＝T，W0 1至分别为待识别骨架序列图像帧之间自然连接边邻接矩阵，W1 1至W1 T分别为待识别骨架序列图像帧之间非自然连接边邻接矩阵，W0至WT分别为各人体关节连接图的邻接矩阵。
步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图。
步骤S41，构建权重矩阵，并对矩阵中所有元素赋值。
步骤S411，构建权重矩阵，并对权重矩阵中所有元素进行初始赋值。
步骤S412，将所述初始赋值后的权重矩阵中的元素作为图卷积网络的训练参数，并通过图卷积网络的反向传播过程更新权重矩阵的元素值。
步骤S413，将元素值更新后的权重矩阵的中的元素作为下一次图卷积网络的训练参数，并通过图卷积网络的反向传播过程再次更新权重矩阵的元素值。
步骤S414，重复执行步骤S413直至达到预设的结束条件。
步骤S42，将所述赋值后的权重矩阵与人体关节连接图的邻接矩阵对应元素相乘，获得对应的带有不同权重值的人体关节连接图。
步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息，如式(7)所示：
其中，*代表图卷积操作；代表图卷积核；x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；W为人体关节连接图的邻接矩阵。
为实现上述操作，首先需要在图中每个节点周围构建固定大小的邻域矩阵，以进行图卷积操作，由于图中各个节点的邻域节点数不同，本发明实施例中采用的方法是通过将每个节点的邻域节点映射到固定数量的的K个子集中，在每个子集中，按照每个邻域节点与中心节点之间的权重系数，求取加权平均值，作为该子集的特征表示，然后以维度等于该子集数量的矩阵w和求得的特征表示做内积的形式做图卷积操作，如式(8)所示
其中，B(xi)表示节点xi的领域节点集合；为归一化项，Zi(xj)表示节点xi的领域的某一子集中所有节点的数量；Wij是节点i与节点j之间的权重系数；l(xj)表示将领域节点j映射到标签为l的子集中，l∈(1,K)；wl()表示映射标签为l的子集对应的图卷积核参数值。
将每个节点的邻域节点映射到固定数量的K个子集，其映射方式可以根据是否为中心节点划分，也可以是按照关节点对之间的距离值进行划分。在实际应用中，可根据实际情况选择最优处理方式，在此不再一一赘述。
实际应用中，许多重要的数据信息都是以图或者网络的形式存在的，比如社交网络，知识图谱，分子结构等。常规的卷积神经网络无法直接处理这些不规则形式存在的数据，通常需要将其转化为普通的图像形式，这在一定程度上丢失了图结构数据内部蕴含的丰富的结构信息。图卷积网络，为图结构数据的处理提供了一个崭新的思路，将深度学习中常用于图像的卷积神经网络应用到图数据上，直接在图结构数据上进行卷积操作，尽可能的保留图结构信息，已经在有机分子、点云数据、目标分类领域取得了较好的效果。
步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。
本发明第二实施例的基于图卷积网络的人体骨架行为识别系统，包括骨架序列获取模块、人体关节自然连接图构建模块、人体关节连接图构建模块、权重分配模块、图卷积模块、行为识别模块、输出模块；
所述骨架序列获取模块，配置为获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
所述人体关节自然连接图构建模块，配置为对所述待识别骨架序列中每一帧图，根据节点坐标构建对应的人体关节自然连接图；
所述人体关节连接图构建模块，配置为基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
所述权重分配模块，配置为分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
所述图卷积模块，配置为对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
所述行为识别模块，配置为基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别；
所述输出模块，配置为将获取的待识别骨架序列的行为类别输出。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于图卷积网络的人体骨架行为识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图卷积网络的人体骨架行为识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图卷积网络的人体骨架行为识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (13)
1.一种基于图卷积网络的人体骨架行为识别方法，其特征在于，该识别方法包括：
步骤S10，获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
步骤S20，对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边；
步骤S30，基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
步骤S40，分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
步骤S50，对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
步骤S60，基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别。
2.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S10中“获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列”，其方法为：
步骤S11，对所述骨架视频进行预设间隔的均匀采样，获得预设帧数的骨架序列；
步骤S12，对所述预设帧数的骨架序列中每一帧关节点坐标值进行归一化处理，获得待识别骨架序列。
3.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S20中“对所述待识别骨架序列中每一帧图，根据关节点坐标构建对应的人体关节自然连接图，关节点为图的节点，关节点之间的自然连接为图的自然连接边”，其方法为：
将所述人体关节自然连接图记做其中，x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；为待识别骨架序列图像帧之间人体关节自然连接图的邻接矩阵；
其中，的维度为N×N，T待识别骨架序列中图像帧数。
4.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S30中“基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图”，其方法为：
步骤S31，计算所述待识别骨架序列中每一帧图中预设关节点之间的距离；
步骤S32，以所述待识别骨架序列第一帧图中预设关节点之间的距离为初始值，依次计算相邻两帧间对应预设关节点之间距离的相对变化值；
步骤S33，将所述相对变化值低于预设阈值的预设关节点进行连接，作为待识别骨架序列图像帧之间非自然连接边邻接矩阵W1 T,W1 T∈RN×N：
其中，W1 T的维度为N×N，T待识别骨架序列中图像帧数；
步骤S34，将所述人体关节自然连接图的自然连接边邻接矩阵与所述非自热连接边的邻接矩阵进行求和，得到各人体关节连接图的邻接矩阵W以及相应的人体关节连接图G(x,WT)。
5.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S40中“分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图”，其方法为：
步骤S41，构建权重矩阵，并对矩阵中所有元素赋值；
步骤S42，将所述赋值后的权重矩阵与人体关节连接图的邻接矩阵对应元素相乘，获得对应的带有不同权重值的人体关节连接图。
6.根据权利要求1所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S50中“对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息”，其方法为：
其中，*代表图卷积操作；代表图卷积核；x是维度为N×c的矩阵，代表人体关节自然连接图的N个节点的c维坐标值；W为人体关节连接图的邻接矩阵。
7.根据权利要求4所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S31中“计算所述待识别骨架序列中每一帧图中预设关节点之间的距离”，其方法为：
Dt＝[d1,2,d1,3…d1,N,d2,3,d2,4…di,j,…dN-1,N]T,Dt∈RN(N-1)/2
其中，Dt为待识别骨架序列中第t帧图预设关节点之间的距离组成的向量，di,j为关节点i和关节点j之间的欧式距离，N为关节点数量。
8.根据权利要求7所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S32中“依次计算相邻两帧间对应预设关节点之间距离的相对变化值”，其方法为：
Dt,t-1＝Dt-Dt-1
其中，Dt、Dt-1分别为待识别骨架序列中第t帧、第t-1帧图预设关节点之间的距离组成的向量，Dt,t-1为待识别骨架序列中第t帧、第t-1帧图对应预设关节点之间距离的相对变化值。
9.根据权利要求8所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S33中“将所述相对变化值低于预设阈值的预设关节点进行连接”，其方法为：
步骤S331，构建阈值向量Z：
Z＝[L1,L2…Ln…LN(N-1)/2]T
其中，Ln代表Dt中预设关节点的距离变化的下界；
步骤S332，将距离变化小于所述阈值向量下界的预设关节点进行连接。
10.根据权利要求6所述的基于图卷积网络的人体骨架行为识别方法，其特征在于，步骤S41中“构建权重矩阵，并对矩阵中所有元素赋值”，其方法为：
步骤S411，构建权重矩阵，并对权重矩阵中所有元素进行初始赋值；
步骤S412，将所述初始赋值后的权重矩阵中的元素作为图卷积网络的训练参数，并通过图卷积网络的反向传播过程更新权重矩阵的元素值；
步骤S413，将元素值更新后的权重矩阵的中的元素作为下一次图卷积网络的训练参数，并通过图卷积网络的反向传播过程再次更新权重矩阵的元素值；
步骤S414，重复执行步骤S413直至达到预设的结束条件。
11.一种基于图卷积网络的人体骨架行为识别系统，其特征在于，包括骨架序列获取模块、人体关节自然连接图构建模块、人体关节连接图构建模块、权重分配模块、图卷积模块、行为识别模块、输出模块；
所述骨架序列获取模块，配置为获取骨架视频中预设的视频帧并进行归一化处理后作为待识别骨架序列；
所述人体关节自然连接图构建模块，配置为对所述待识别骨架序列中每一帧图，根据节点坐标构建对应的人体关节自然连接图；
所述人体关节连接图构建模块，配置为基于所述人体关节自然连接图的自然连接边，学习非自然连接边，并与所述自然连接边一起构成待识别骨架序列每一帧图对应的人体关节连接图；
所述权重分配模块，配置为分别为所述待识别骨架序列每一帧图对应的人体关节连接图的各条边分配预设的权重值，获得对应的带有不同权重值的人体关节连接图；
所述图卷积模块，配置为对所述待识别骨架序列每一帧图对应的带有不同权重值的人体关节连接图进行图卷积操作，获取待识别骨架序列的空间信息；
所述行为识别模块，配置为基于所述待识别骨架序列的空间信息，在时间维度上进行卷积操作，获得待识别骨架序列的行为类别；
所述输出模块，配置为将获取的待识别骨架序列的行为类别输出。
12.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-10任一项所述的基于图卷积网络的人体骨架行为识别方法。
13.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-10任一项所述的基于图卷积网络的人体骨架行为识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910446596.0A CN110222611B (zh) | 2019-05-27 | 2019-05-27 | 基于图卷积网络的人体骨架行为识别方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910446596.0A CN110222611B (zh) | 2019-05-27 | 2019-05-27 | 基于图卷积网络的人体骨架行为识别方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222611A true CN110222611A (zh) | 2019-09-10 |
| CN110222611B CN110222611B (zh) | 2021-03-02 |
Family
ID=67818482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910446596.0A Active CN110222611B (zh) | 2019-05-27 | 2019-05-27 | 基于图卷积网络的人体骨架行为识别方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222611B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705613A (zh) * | 2019-09-19 | 2020-01-17 | 创新奇智(青岛)科技有限公司 | 物体分类方法 |
| CN110751072A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于知识嵌入图卷积网络的双人交互识别方法 |
| CN110889335A (zh) * | 2019-11-07 | 2020-03-17 | 辽宁石油化工大学 | 基于多通道时空融合网络人体骨架双人交互行为识别方法 |
| CN110929637A (zh) * | 2019-11-20 | 2020-03-27 | 中国科学院上海微系统与信息技术研究所 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN111104902A (zh) * | 2019-12-19 | 2020-05-05 | 中山大学 | 一种基于图卷积网络的偏瘫步态分类方法 |
| CN111191704A (zh) * | 2019-12-24 | 2020-05-22 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
| CN111274998A (zh) * | 2020-02-17 | 2020-06-12 | 上海交通大学 | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 |
| CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
| CN111539941A (zh) * | 2020-04-27 | 2020-08-14 | 上海交通大学 | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 |
| CN111931549A (zh) * | 2020-05-20 | 2020-11-13 | 浙江大学 | 一种基于多任务非自回归解码的人体骨架的动作预测方法 |
| CN112001229A (zh) * | 2020-07-09 | 2020-11-27 | 浙江大华技术股份有限公司 | 视频行为识别的方法、装置、系统和计算机设备 |
| CN112598021A (zh) * | 2020-11-27 | 2021-04-02 | 西北工业大学 | 一种基于自动机器学习的图结构搜索方法 |
| CN112597883A (zh) * | 2020-12-22 | 2021-04-02 | 武汉大学 | 一种基于广义图卷积和强化学习的人体骨架动作识别方法 |
| CN112818942A (zh) * | 2021-03-05 | 2021-05-18 | 清华大学 | 一种车辆行驶过程中行人动作识别方法和系统 |
| CN112818887A (zh) * | 2021-02-08 | 2021-05-18 | 中国科学院自动化研究所 | 基于无监督学习的人体骨架序列行为识别方法 |
| CN113065529A (zh) * | 2021-05-10 | 2021-07-02 | 清华大学 | 基于关节组间关联建模的动作识别方法与系统 |
| CN113196289A (zh) * | 2020-07-02 | 2021-07-30 | 浙江大学 | 人体动作识别方法、人体动作识别系统及设备 |
| CN113255402A (zh) * | 2020-02-10 | 2021-08-13 | 深圳绿米联创科技有限公司 | 动作识别方法、装置以及电子设备 |
| CN113255408A (zh) * | 2020-02-11 | 2021-08-13 | 深圳绿米联创科技有限公司 | 行为识别方法、装置、电子设备及存储介质 |
| CN113348465A (zh) * | 2021-02-22 | 2021-09-03 | 商汤国际私人有限公司 | 图像中对象的关联性预测方法、装置、设备和存储介质 |
| CN114201029A (zh) * | 2020-09-02 | 2022-03-18 | 中国电信股份有限公司 | 动作检测方法、装置和存储介质 |
| WO2022175731A1 (en) * | 2021-02-22 | 2022-08-25 | Sensetime International Pte. Ltd. | Methods, apparatuses, devices and storage media for predicting correlation between objects involved in image |
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| WO2022193412A1 (zh) * | 2021-03-15 | 2022-09-22 | 华南理工大学 | 基于人体骨架点云交互学习的视频暴力识别方法、系统及介质 |
| CN116486238A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229355A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质、程序 |
| CN109492581A (zh) * | 2018-11-09 | 2019-03-19 | 中国石油大学(华东) | 一种基于tp-stg框架的人体动作识别方法 |
| US20190156946A1 (en) * | 2017-11-17 | 2019-05-23 | Accenture Global Solutions Limited | Accelerated clinical biomarker prediction (acbp) platform |
-
2019
- 2019-05-27 CN CN201910446596.0A patent/CN110222611B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190156946A1 (en) * | 2017-11-17 | 2019-05-23 | Accenture Global Solutions Limited | Accelerated clinical biomarker prediction (acbp) platform |
| CN108229355A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质、程序 |
| CN109492581A (zh) * | 2018-11-09 | 2019-03-19 | 中国石油大学(华东) | 一种基于tp-stg框架的人体动作识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| HAO YANG 等: ""SCNN: Sequential convolutional neural network for human action recognition in videos"", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| YAN S 等: ""Spatial Temporal Graph Convolutional Networks for Skeleton-BasedAction Recognition"", 《ARXIV》 * |
| 万晓依: ""基于时空结构关系的3D人体行为识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705613B (zh) * | 2019-09-19 | 2021-06-11 | 创新奇智(青岛)科技有限公司 | 物体分类方法 |
| CN110705613A (zh) * | 2019-09-19 | 2020-01-17 | 创新奇智(青岛)科技有限公司 | 物体分类方法 |
| CN110751072A (zh) * | 2019-10-12 | 2020-02-04 | 西安电子科技大学 | 基于知识嵌入图卷积网络的双人交互识别方法 |
| CN110889335A (zh) * | 2019-11-07 | 2020-03-17 | 辽宁石油化工大学 | 基于多通道时空融合网络人体骨架双人交互行为识别方法 |
| CN110889335B (zh) * | 2019-11-07 | 2023-11-24 | 辽宁石油化工大学 | 基于多通道时空融合网络人体骨架双人交互行为识别方法 |
| CN110929637A (zh) * | 2019-11-20 | 2020-03-27 | 中国科学院上海微系统与信息技术研究所 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN110929637B (zh) * | 2019-11-20 | 2023-05-16 | 中国科学院上海微系统与信息技术研究所 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN111104902B (zh) * | 2019-12-19 | 2023-03-10 | 中山大学 | 一种基于图卷积网络的偏瘫步态分类方法 |
| CN111104902A (zh) * | 2019-12-19 | 2020-05-05 | 中山大学 | 一种基于图卷积网络的偏瘫步态分类方法 |
| CN111191704B (zh) * | 2019-12-24 | 2023-05-02 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
| CN111191704A (zh) * | 2019-12-24 | 2020-05-22 | 天津师范大学 | 一种基于任务图卷积网络的地基云分类方法 |
| CN113255402B (zh) * | 2020-02-10 | 2024-06-11 | 深圳绿米联创科技有限公司 | 动作识别方法、装置以及电子设备 |
| CN113255402A (zh) * | 2020-02-10 | 2021-08-13 | 深圳绿米联创科技有限公司 | 动作识别方法、装置以及电子设备 |
| CN113255408B (zh) * | 2020-02-11 | 2024-03-29 | 深圳绿米联创科技有限公司 | 行为识别方法、装置、电子设备及存储介质 |
| CN113255408A (zh) * | 2020-02-11 | 2021-08-13 | 深圳绿米联创科技有限公司 | 行为识别方法、装置、电子设备及存储介质 |
| CN111274998B (zh) * | 2020-02-17 | 2023-04-28 | 上海交通大学 | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 |
| CN111274998A (zh) * | 2020-02-17 | 2020-06-12 | 上海交通大学 | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 |
| CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
| CN111539941B (zh) * | 2020-04-27 | 2022-08-16 | 上海交通大学 | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 |
| CN111539941A (zh) * | 2020-04-27 | 2020-08-14 | 上海交通大学 | 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 |
| CN111931549B (zh) * | 2020-05-20 | 2024-02-02 | 浙江大学 | 一种基于多任务非自回归解码的人体骨架的动作预测方法 |
| CN111931549A (zh) * | 2020-05-20 | 2020-11-13 | 浙江大学 | 一种基于多任务非自回归解码的人体骨架的动作预测方法 |
| CN113196289A (zh) * | 2020-07-02 | 2021-07-30 | 浙江大学 | 人体动作识别方法、人体动作识别系统及设备 |
| CN112001229A (zh) * | 2020-07-09 | 2020-11-27 | 浙江大华技术股份有限公司 | 视频行为识别的方法、装置、系统和计算机设备 |
| CN112001229B (zh) * | 2020-07-09 | 2021-07-20 | 浙江大华技术股份有限公司 | 视频行为识别的方法、装置、系统和计算机设备 |
| CN114201029A (zh) * | 2020-09-02 | 2022-03-18 | 中国电信股份有限公司 | 动作检测方法、装置和存储介质 |
| CN112598021A (zh) * | 2020-11-27 | 2021-04-02 | 西北工业大学 | 一种基于自动机器学习的图结构搜索方法 |
| CN112597883A (zh) * | 2020-12-22 | 2021-04-02 | 武汉大学 | 一种基于广义图卷积和强化学习的人体骨架动作识别方法 |
| CN112597883B (zh) * | 2020-12-22 | 2024-02-09 | 武汉大学 | 一种基于广义图卷积和强化学习的人体骨架动作识别方法 |
| CN112818887A (zh) * | 2021-02-08 | 2021-05-18 | 中国科学院自动化研究所 | 基于无监督学习的人体骨架序列行为识别方法 |
| CN112818887B (zh) * | 2021-02-08 | 2023-04-07 | 中国科学院自动化研究所 | 基于无监督学习的人体骨架序列行为识别方法 |
| CN113348465A (zh) * | 2021-02-22 | 2021-09-03 | 商汤国际私人有限公司 | 图像中对象的关联性预测方法、装置、设备和存储介质 |
| WO2022175731A1 (en) * | 2021-02-22 | 2022-08-25 | Sensetime International Pte. Ltd. | Methods, apparatuses, devices and storage media for predicting correlation between objects involved in image |
| US20220269883A1 (en) * | 2021-02-22 | 2022-08-25 | Sensetime International Pte. Ltd. | Methods, apparatuses, devices and storage media for predicting correlation between objects involved in image |
| CN112818942A (zh) * | 2021-03-05 | 2021-05-18 | 清华大学 | 一种车辆行驶过程中行人动作识别方法和系统 |
| WO2022193412A1 (zh) * | 2021-03-15 | 2022-09-22 | 华南理工大学 | 基于人体骨架点云交互学习的视频暴力识别方法、系统及介质 |
| CN113065529A (zh) * | 2021-05-10 | 2021-07-02 | 清华大学 | 基于关节组间关联建模的动作识别方法与系统 |
| CN113065529B (zh) * | 2021-05-10 | 2022-05-06 | 清华大学 | 基于关节组间关联建模的动作识别方法与系统 |
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| CN116486238A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
| CN116486238B (zh) * | 2023-04-26 | 2023-09-15 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222611B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222611A (zh) | 基于图卷积网络的人体骨架行为识别方法、系统、装置 | |
| Santos et al. | Grape detection, segmentation, and tracking using deep neural networks and three-dimensional association | |
| CN109816009A (zh) | 基于图卷积的多标签图像分类方法、装置及设备 | |
| CN106033435B (zh) | 物品识别方法和装置，室内地图生成方法和装置 | |
| CN110781765A (zh) | 一种人体姿态识别方法、装置、设备及存储介质 | |
| CN106844614A (zh) | 一种户型图功能区域快速识别系统 | |
| CN108073888A (zh) | 一种教学辅助方法及采用该方法的教学辅助系统 | |
| CN109214366A (zh) | 局部目标重识别方法、装置及系统 | |
| CN109948497A (zh) | 一种物体检测方法、装置及电子设备 | |
| CN112131908A (zh) | 基于双流网络的动作识别方法、装置、存储介质及设备 | |
| CN109785400B (zh) | 一种剪影图像制作方法、装置、电子设备及存储介质 | |
| CN109344738A (zh) | 农作物病虫草害识别方法及装置 | |
| CN109446952A (zh) | 一种钢琴监督方法、装置、计算机设备及存储介质 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| TW202141424A (zh) | 目標跟蹤方法及裝置、存儲介質 | |
| CN109919085A (zh) | 基于轻量型卷积神经网络的人人交互行为识别方法 | |
| CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
| CN116645721B (zh) | 基于深度学习的坐姿识别方法及系统 | |
| CN109003291A (zh) | 目标跟踪方法及装置 | |
| CN113361352A (zh) | 基于行为识别的学生课堂行为分析的监控方法及系统 | |
| CN111723667A (zh) | 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置 | |
| CN110163221A (zh) | 在图像中进行物体检测的方法、装置、车辆、机器人 | |
| CN109978074A (zh) | 基于深度多任务学习的图像美感和情感联合分类方法及系统 | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| CN115933930A (zh) | 教育元宇宙中学习对象的注意力分析方法、终端及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |