CN112380955A - 动作的识别方法及装置 - Google Patents
动作的识别方法及装置 Download PDFInfo
- Publication number
- CN112380955A CN112380955A CN202011248533.3A CN202011248533A CN112380955A CN 112380955 A CN112380955 A CN 112380955A CN 202011248533 A CN202011248533 A CN 202011248533A CN 112380955 A CN112380955 A CN 112380955A
- Authority
- CN
- China
- Prior art keywords
- convolution
- joint point
- point sequence
- training
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims description 88
- 230000033001 locomotion Effects 0.000 claims description 69
- 230000006399 behavior Effects 0.000 claims description 68
- 238000010586 diagram Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种动作的识别方法及装置，包括：将目标视频中目标对象的行为序列转换为关节点序列，行为序列中包括目标对象的行为信息；使用时空图卷积网络对关节点序列进行分析，得到目标对象的动作信息。通过本发明，解决了人体的行为识别准确率较低的问题。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种动作的识别方法及装置。
背景技术
在行为识别技术领域，随着人工智能、模式识别等技术的飞速发展，人体的行为识别受到越来越多人的关注，传统的接触式识别设备己经不能满足人们的需求，研究非接触式识别方法成为了近几年的研究热点。尤其在安防领域，有效的人体动作识别分析，可以有效的预防和避免一些安全事故发生，因此基于视频领域的人体动作识别是迫在眉睫。虽然近年来基于彩色视频序列研究人体行为识别得到了一定的进步和发展，但是受到背景环境的严重干扰，准确率较低。
针对相关技术中，人体的行为识别准确率较低的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种动作的识别方法及装置，以至少解决相关技术中人体的行为识别准确率较低的问题。
根据本发明的一个实施例，提供了一种动作的识别方法，包括：将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
可选地，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，包括：确定N个卷积层分别输出的N个卷积结果，其中，所述时空图卷积网络包括N个卷积层，N个卷积层顺次连接，第i+1个卷积层的输入是第i个卷积层的输出，i小于N，i和N均为整数；融合所述N个卷积结果，得到所述时空图卷积网络的输出的所述目标对象的动作信息。
可选地，所述方法还包括：将所述第i个卷积层输出的第i个卷积结果输入至所述第i+1个卷积层，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果。
可选地，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果，包括：通过所述第i+1个卷积层对所述第i个卷积结果执行图卷积操作，得到第i+1个图卷积结果；通过所述第i+1个卷积层对所述第i+1个图卷积结果执行时间卷积操作，得到所述第i+1个卷积结果。
可选地，在使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息之前，所述方法包括：使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，其中，所述训练视频中包括训练对象的行为信息，所述时空图卷积网络输出的所述训练对象的预估动作信息与所述训练对象的已知动作信息之间满足目标收敛条件，所述目标收敛条件用于表示所述预估动作信息与所述已知动作信息之间的损失函数的输出值在预定范围内。
可选地，使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，包括：确定训练视频中训练对象的虚拟中心点；根据所述虚拟中心点识别所述训练对象的状态运动信息，得到所属正向关节点序列和所述逆向关节点序列，其中，所述状态运动信息包括所述正向状态运动信息和逆向状态运动信息；使用正向关节点序列和所述逆向关节点序列对原始时空图卷积网络进行训练，得到所述时空图卷积网络。
可选地，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：使用标注框对至少两帧图像中的目标对象进行标识，得到所述目标对象的行为序列，其中，所述目标视频包括所述至少两帧图像。
可选地，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：在目标视频中选取出目标对象，其中，所述目标视频中包括多个对象，所述多个对象中包括所述目标对象。
根据本发明的另一个实施例，提供了一种动作的识别装置，包括：转换模块，用于将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；分析模块，用于使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于通过将目标视频中目标对象的行为序列转换为关节点序列，行为序列中包括所述目标对象的行为信息；使用时空图卷积网络对关节点序列进行分析，得到目标对象的动作信息，时空图卷积网络是使用多组数据通过机器学习训练得到的，多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，正向关节点序列包括训练对象的正向状态运动信息，逆向关节点序列包括训练对象的逆向状态运动信息。因此，可以解决人体的行为识别准确率较低问题，达到提高人体的行为识别准确率效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种动作的识别方法的移动终端的硬件结构框图；
图2是根据本发明实施例的动作的识别的流程图；
图3是根据本发明可选实施例的系统示意图；
图4是根据本发明可选实施例的普通人体拓扑图；
图5是根据本发明可选实施例的正向状态和逆向状态人体运动拓扑图；
图6是根据本发明可选实施例的基于多语义信息融合的时空图卷积网络结构图；
图7是根据本发明可选实施例的流程示意图；
图8是根据本发明实施例的动作的识别装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种动作的识别方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的动作的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的动作的识别方法，图2是根据本发明实施例的动作的识别的流程图，如图2所示，该流程包括如下步骤：
步骤S202，将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；
步骤S204，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
通过上述步骤，由于通过将目标视频中目标对象的行为序列转换为关节点序列，行为序列中包括所述目标对象的行为信息；使用时空图卷积网络对关节点序列进行分析，得到目标对象的动作信息，时空图卷积网络是使用多组数据通过机器学习训练得到的，多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，正向关节点序列包括训练对象的正向状态运动信息，逆向关节点序列包括训练对象的逆向状态运动信息。因此，可以解决人体的行为识别准确率较低问题，达到提高人体的行为识别准确率效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
作为一个可选的实施，上述动作的识别方法可以应用于图3所示的系统中，该系统中包括关节点序列采集模块，特征提取模块和动作识别模块。关节点序列采集模块将采集的关节点序列用于特征提取模块和动作识别模块，特征提取模块将训练好的模型用于动作识别模块。关节点序列采集模块可以包括对象跟踪单元和关节点提取单元，其中，对象跟踪单元用于对目标视频中目标对象进行识别定位跟踪，本实施例中的目标对象可以是人物。以人物为例，对象跟踪单元可以对每个人都会产生一系列的行为跟踪框。关节点提取单元结合对象跟踪单元将对每个人的行为序列转换成关节点序列，并将数据传递给特征提取模块和动作识别模块。
作为一个可选的实施方式，特征提取模块包括可以包括运动拓扑图单元和基于多语义信息融合的时空图卷积网络(SFT-GCN)。以目标对象为人物对象为例，人体在做任何运动过程中，每个动作中关节点都有一个向人体中心靠近的过程和远离人体中心的过程，因此运动拓扑图单元可以包括两种子图，分别表达正向状态和逆向状态。如图4所示是根据本发明可选实施例的普通人体拓扑图，图5是正向状态和逆向状态人体运动拓扑图。可以使SFT-GCN学习到正向关节点序列和逆向关节点序列的运动特征，同时可以使SFT-GCN学习到空间中所有关节点的整体特性以及相邻关节的局部特征。基于多语义信息融合的时空图卷积网络根据人体运动拓扑图中提取关节点序列的特征信息，先通过图卷积学习关节点的空间特性，在通过时间卷积学习关节点的时间序列信息，最后结合多语义下的信息融合可以准确的识别各种行为动作。动作识别模块包括数据处理单元和识别单元，数据处理单元中设计了一种可选择采样机制，根据任务需求的不同，选择不同类型的人物进行行为识别。识别单元利用体征提取模块输出的模型和数据处理单元反馈的关节点序列快速准确的识别出人体动作类型。
可选地，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，包括：确定N个卷积层分别输出的N个卷积结果，其中，所述时空图卷积网络包括N个卷积层，N个卷积层顺次连接，第i+1个卷积层的输入是第i个卷积层的输出，i小于N，i和N均为整数；融合所述N个卷积结果，得到所述时空图卷积网络的输出的所述目标对象的动作信息。
作为一个可选的实施方式，如图6所示是根据本发明可选实施例的基于多语义信息融合的时空图卷积网络结构图，图中所示的网络结构中包括多个卷积层，卷积层之间依次连接，每个卷积层的输出作为下一个卷积层的输入，每个卷积层可以得到该层的输出结果。
可选地，所述方法还包括：将所述第i个卷积层输出的第i个卷积结果输入至所述第i+1个卷积层，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果。
作为一个可选的实施方式，基于多语义信息融合的时空图卷积网络(SFT-GCN)以时空图卷积为主干网络，将多个语义下的信息进行融合之后，可以使网络学习到不同特征下的语义信息，其中，每个语义下的信息可以是每个卷积层输出的结果。可以将每个卷积层输出的结果按照一定比重进行特征信息融合，具体的比重可以根据实际情况而定。在本实施例中，基于多语义信息融合的时空图卷积网络将各个层次下的语义信息按照一定比重进行特征信息融合，在将融合后的语义信息进行学习分类。因此，基于多语义信息融合策略可以提高算法的鲁棒性，有效降低人体大小和动作速度对行为识别的影响。
作为一个可选的实施方式，SFT-GCN网络结构创新点在于，在普通的时空图卷积网络基础上加入多通道信息融合机制。以SFT-GCN网络结构包括6个卷积层为例，在第1-5层的时空图卷积输出后加入序列降采样操作，使其与最后一层(第6层)的输出时间序列的维度保持一致，最后将第6层中语义信息在时空维度上进行融合。除了最后一层，每一层的时空图卷积输出都包含两个去向，一个是当做下一层的输入，另外一个经过降采样后与其他层的输出进行语义信息融合。
作为一个可选的实施方式，图卷积做关节点序列识别的核心思想是利用关节点之间边的信息对关节点信息进行聚合从而生成新的关节点表示，本实施了中根据人体运动拓扑图结构，图卷积包含两个卷积核，其公式为：
其中，
为正向状态的卷积核，
为逆向状态的卷积核。Xi为更新的关节点状态，X为原关节点状态，N为原关节点数量。
可选地，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果，包括：通过所述第i+1个卷积层对所述第i个卷积结果执行图卷积操作，得到第i+1个图卷积结果；通过所述第i+1个卷积层对所述第i+1个图卷积结果执行时间卷积操作，得到所述第i+1个卷积结果。
作为一个可选的实施昂视，时空图卷积是有图卷积和时间卷积组合而成，首先将人体的关节点数据进行图卷积操作，然后在将图卷积后的数据上按照时间序列的维度进行时间卷积操作。如图6所示的网络结构图中，SFT-GCN网络中的每个卷积层都包括图卷积操作和时间卷积操作，第i+1个卷积层和第i个卷积层是相邻的两个卷积层，第i个卷积层将输出结果输入至第i+1个卷积层，由第i+1个卷积层对第i个卷积层将输出结果先执行图卷积操作，再执行时间卷积操作，得到第i+1个卷积层的输出结果。在本实施例中，以第1个卷积层为例，将关节点序列输入第1个卷积层，第1个卷积层对关节点序列执行图卷积操作和时间卷积操作，得到第一个卷积层输出的第1个卷积结果，第1个卷积结果作为第2个卷积层的输入，由第2个卷积层对第1个卷积结果执行图卷积操作和时间卷积操作，得到第2个卷积结果。第2个卷积结果作为第3个卷积层的输入，由第3个卷积层对第2个卷积结果执行图卷积操作和时间卷积操作，得到第3个卷积结果，以此类推直到得到SFT-GCN网络中最后一个卷积层的输出结果。将所有层的输出结果进行融合后，得到SFT-GCN网络的输出结果。在本实施例中，由于融合了SFT-GCN网络中各个层的输出结果，可以提高识别准确率。
可选地，在使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息之前，所述方法包括：使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，其中，所述训练视频中包括训练对象的行为信息，所述时空图卷积网络输出的所述训练对象的预估动作信息与所述训练对象的已知动作信息之间满足目标收敛条件，所述目标收敛条件用于表示所述预估动作信息与所述已知动作信息之间的损失函数的输出值在预定范围内。
作为一个可选的实施方式，训练视频可以是预先采集的视频作为训练样本，训练视频中包括训练对象，训练对象可以是人物对象，可以使用训练视频中人物对象的行为数据作为训练数据，对原始时空图卷积网络进行训练，在训练的过程中不断修正各个卷积层中的传递参数，直到网络输出的人物对象的预估动作信息，与已知的人物对象动作信息之间的误差满足收敛条件，可以使用损失函数计算误差值，损失函数可以根据实际情况进行选取，例如可以是交叉熵函数。通过上述训练过程得到时空图卷积网络SFT-GCN网络。
可选地，使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，包括：确定训练视频中训练对象的虚拟中心点；根据所述虚拟中心点识别所述训练对象的状态运动信息，得到所属正向关节点序列和所述逆向关节点序列，其中，所述状态运动信息包括所述正向状态运动信息和逆向状态运动信息；使用正向关节点序列和所述逆向关节点序列对原始时空图卷积网络进行训练，得到所述时空图卷积网络。
作为一个可选的实施方式，人体在做任何动作时，关节点都有两种状态，一种是人体外围的关节点的位置由内围关节点控制，另一种是人体内围关节点位置由外围关节点反推控制。在本实施例中，可以将关节点运动序列分为两种状态，分别是正向状态和逆向状态。由于人体的中心位置始终不受关节点的影响，可以在普通人体的拓扑图的基础上加入的一个虚拟中心点，如图5所示，人体运动拓扑图包括正向状态和逆向状态。正向状态是指在做某个动作时，某些时刻外围关节点由内围关节点推动，逆向状态是指某些时刻内围关节点由外围关节点推动。由于任何动作都包含正向状态和逆向状态，因此人体运动拓扑图更能有效的表达关节点序列下的运动特征。在本实施例中，可以使用训练对象的正向状态和逆向状态对原始时空图卷积网络进行训练，得到时空图卷积网络。在本实施例中，由于结合可了人物的正向和方向运动状态，可以提高识别准确率。
可选地，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：使用标注框对至少两帧图像中的目标对象进行标识，得到所述目标对象的行为序列，其中，所述目标视频包括所述至少两帧图像。
作为一个可选的实施方式，人体跟踪单元可以对视频中人体进行识别定位跟踪，它对每个人都会产生一系列的行为跟踪框，跟踪框可以是标注框，标注框可以标识出视频中的人物对象，由于人物对象是包括行为信息的，由此可以得到人物对象的行为序列。
可选地，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：在目标视频中选取出目标对象，其中，所述目标视频中包括多个对象，所述多个对象中包括所述目标对象。
作为一个可选的实施方式，行为识别的应用领域非常多，但是考虑到实际应用和耗时等问题，可以在动作识别模块的数据处理单元中设计了一种可选择采样机制，可以根据用户在不同的场景需求，选择部分或者全部对象进行序列识别。
在本实施例子中，以人物对象为例，可选择采样机制包括检测所有人员的行为序列和检测特定人员的行为序列。其中，检测特定人员可以按照性别、年龄、着装等信息进行选择，可以根据任务需求的不同，选择不同类型的人物进行行为动作识别。图7所示是根据本发明可选实施例的流程示意图。当选择检测所有人员时，检测场景直接经过关节点序列采样模块，将直接检测场景中所有人员的行为序列。当选择检测特定人员时，可以单独选择单个结构化单元，也可结合选择多个结构化单元，最后将符合条件的人员筛选出来，进入关节点序列采样模块。该单元主要将人体结构化技术与关节点序列采样模块进行有效结合，从而使基于多语义时空图卷积融合的关节点序列识别系统更具有实际应用性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种种动作的识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本发明实施例的动作的识别装置的结构框图，如图8所示，该装置包括：转换模块82，用于将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；分析模块84，用于使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
可选地，上述装置用于通过如下方式实现使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息：确定N个卷积层分别输出的N个卷积结果，其中，所述时空图卷积网络包括N个卷积层，N个卷积层顺次连接，第i+1个卷积层的输入是第i个卷积层的输出，i小于N，i和N均为整数；融合所述N个卷积结果，得到所述时空图卷积网络的输出的所述目标对象的动作信息。
可选地，上述装置用于将所述第i个卷积层输出的第i个卷积结果输入至所述第i+1个卷积层，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果。
可选地，上述装置用于通过如下方式实现通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果：通过所述第i+1个卷积层对所述第i个卷积结果执行图卷积操作，得到第i+1个图卷积结果；通过所述第i+1个卷积层对所述第i+1个图卷积结果执行时间卷积操作，得到所述第i+1个卷积结果。
可选地，上述装置还用于在使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息之前，使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，其中，所述训练视频中包括训练对象的行为信息，所述时空图卷积网络输出的所述训练对象的预估动作信息与所述训练对象的已知动作信息之间满足目标收敛条件，所述目标收敛条件用于表示所述预估动作信息与所述已知动作信息之间的损失函数的输出值在预定范围内。
可选地，上述装置还用于通过如下方式实现使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络：确定训练视频中训练对象的虚拟中心点；根据所述虚拟中心点识别所述训练对象的状态运动信息，得到所属正向关节点序列和所述逆向关节点序列，其中，所述状态运动信息包括所述正向状态运动信息和逆向状态运动信息；使用正向关节点序列和所述逆向关节点序列对原始时空图卷积网络进行训练，得到所述时空图卷积网络。
可选地，上述装置还用于在所述将目标视频中目标对象的行为序列转换为关节点序列之前，使用标注框对至少两帧图像中的目标对象进行标识，得到所述目标对象的行为序列，其中，所述目标视频包括所述至少两帧图像。
可选地，上述装置还用于在所述将目标视频中目标对象的行为序列转换为关节点序列之前，在目标视频中选取出目标对象，其中，所述目标视频中包括多个对象，所述多个对象中包括所述目标对象。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；
S2，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；
S2，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种动作的识别方法，其特征在于，包括：
将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；
使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
2.根据权利要求1所述的方法，其特征在于，使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，包括：
确定N个卷积层分别输出的N个卷积结果，其中，所述时空图卷积网络包括N个卷积层，N个卷积层顺次连接，第i+1个卷积层的输入是第i个卷积层的输出，i小于N，i和N均为整数；
融合所述N个卷积结果，得到所述时空图卷积网络的输出的所述目标对象的动作信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述第i个卷积层输出的第i个卷积结果输入至所述第i+1个卷积层，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果。
4.根据权利要求3所述的方法，其特征在于，通过所述第i+1个卷积层对所述第i个卷积结果执行时空图卷积操作，得到所述第i+1个卷积层输出的第i+1个卷积结果，包括：
通过所述第i+1个卷积层对所述第i个卷积结果执行图卷积操作，得到第i+1个图卷积结果；
通过所述第i+1个卷积层对所述第i+1个图卷积结果执行时间卷积操作，得到所述第i+1个卷积结果。
5.根据权利要求1所述的方法，其特征在于，在使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息之前，所述方法包括：
使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，其中，所述训练视频中包括训练对象的行为信息，所述时空图卷积网络输出的所述训练对象的预估动作信息与所述训练对象的已知动作信息之间满足目标收敛条件，所述目标收敛条件用于表示所述预估动作信息与所述已知动作信息之间的损失函数的输出值在预定范围内。
6.根据权利要求5所述的方法，其特征在于，使用训练视频对原始时空图卷积网络进行训练，得到时空图卷积网络，包括：
确定训练视频中训练对象的虚拟中心点；
根据所述虚拟中心点识别所述训练对象的状态运动信息，得到所属正向关节点序列和所述逆向关节点序列，其中，所述状态运动信息包括所述正向状态运动信息和逆向状态运动信息；
使用正向关节点序列和所述逆向关节点序列对原始时空图卷积网络进行训练，得到所述时空图卷积网络。
7.根据权利要求1所述的方法，其特征在于，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：
使用标注框对至少两帧图像中的目标对象进行标识，得到所述目标对象的行为序列，其中，所述目标视频包括所述至少两帧图像。
8.根据权利要求1所述的方法，其特征在于，在所述将目标视频中目标对象的行为序列转换为关节点序列之前，所述方法还包括：
在目标视频中选取出目标对象，其中，所述目标视频中包括多个对象，所述多个对象中包括所述目标对象。
9.一种动作的识别装置，其特征在于，包括：
转换模块，用于将目标视频中目标对象的行为序列转换为关节点序列，其中，所述行为序列中包括所述目标对象的行为信息；
分析模块，用于使用时空图卷积网络对所述关节点序列进行分析，得到所述目标对象的动作信息，其中，所述时空图卷积网络是使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据包括：正向关节点序列和逆向关节点序列，所述正向关节点序列包括训练对象的正向状态运动信息，所述逆向关节点序列包括所述训练对象的逆向状态运动信息。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011248533.3A CN112380955B (zh) | 2020-11-10 | 2020-11-10 | 动作的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011248533.3A CN112380955B (zh) | 2020-11-10 | 2020-11-10 | 动作的识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112380955A true CN112380955A (zh) | 2021-02-19 |
| CN112380955B CN112380955B (zh) | 2023-06-16 |
Family
ID=74578426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011248533.3A Active CN112380955B (zh) | 2020-11-10 | 2020-11-10 | 动作的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112380955B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861811A (zh) * | 2021-03-24 | 2021-05-28 | 北京百度网讯科技有限公司 | 目标识别方法、装置、设备、存储介质及雷达 |
| CN113468980A (zh) * | 2021-06-11 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种人体行为识别方法及相关装置 |
| CN113657209A (zh) * | 2021-07-30 | 2021-11-16 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备和存储介质 |
| CN114821799A (zh) * | 2022-05-10 | 2022-07-29 | 清华大学 | 基于时空图卷积网络的动作识别方法、装置和设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN110210372A (zh) * | 2019-05-29 | 2019-09-06 | 中国科学院自动化研究所 | 基于注意增强图卷积网络的骨架行为识别方法、系统 |
| CN110796110A (zh) * | 2019-11-05 | 2020-02-14 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及系统 |
| CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
| CN110929637A (zh) * | 2019-11-20 | 2020-03-27 | 中国科学院上海微系统与信息技术研究所 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN111401106A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种行为识别方法、装置及设备 |
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
-
2020
- 2020-11-10 CN CN202011248533.3A patent/CN112380955B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN111401106A (zh) * | 2019-01-02 | 2020-07-10 | 中国移动通信有限公司研究院 | 一种行为识别方法、装置及设备 |
| CN110210372A (zh) * | 2019-05-29 | 2019-09-06 | 中国科学院自动化研究所 | 基于注意增强图卷积网络的骨架行为识别方法、系统 |
| CN110837778A (zh) * | 2019-10-12 | 2020-02-25 | 南京信息工程大学 | 一种基于骨架关节点序列的交警指挥手势识别方法 |
| CN110796110A (zh) * | 2019-11-05 | 2020-02-14 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及系统 |
| CN110929637A (zh) * | 2019-11-20 | 2020-03-27 | 中国科学院上海微系统与信息技术研究所 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN111652124A (zh) * | 2020-06-02 | 2020-09-11 | 电子科技大学 | 一种基于图卷积网络的人体行为识别模型的构建方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861811A (zh) * | 2021-03-24 | 2021-05-28 | 北京百度网讯科技有限公司 | 目标识别方法、装置、设备、存储介质及雷达 |
| CN112861811B (zh) * | 2021-03-24 | 2023-08-01 | 北京百度网讯科技有限公司 | 目标识别方法、装置、设备、存储介质及雷达 |
| CN113468980A (zh) * | 2021-06-11 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种人体行为识别方法及相关装置 |
| CN113468980B (zh) * | 2021-06-11 | 2024-05-31 | 浙江大华技术股份有限公司 | 一种人体行为识别方法及相关装置 |
| CN113657209A (zh) * | 2021-07-30 | 2021-11-16 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备和存储介质 |
| CN113657209B (zh) * | 2021-07-30 | 2023-09-12 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备和存储介质 |
| CN114821799A (zh) * | 2022-05-10 | 2022-07-29 | 清华大学 | 基于时空图卷积网络的动作识别方法、装置和设备 |
| CN114821799B (zh) * | 2022-05-10 | 2024-08-09 | 清华大学 | 基于时空图卷积网络的动作识别方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112380955B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112380955B (zh) | 动作的识别方法及装置 | |
| CN110309706B (zh) | 人脸关键点检测方法、装置、计算机设备及存储介质 | |
| CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
| CN103514459A (zh) | 一种基于Android手机平台的识别农作物病虫害的方法及系统 | |
| CN112633159B (zh) | 人-物交互关系识别方法、模型训练方法及对应装置 | |
| CN110263733B (zh) | 图像处理方法、提名评估方法及相关装置 | |
| CN111414946A (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
| CN108875555B (zh) | 基于神经网络的视频兴趣区域和显著目标提取与定位系统 | |
| CN110991298B (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
| CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN112418360A (zh) | 卷积神经网络的训练方法、行人属性识别方法及相关设备 | |
| CN111652181A (zh) | 目标跟踪方法、装置及电子设备 | |
| CN113627334A (zh) | 对象的行为识别方法及装置 | |
| EP3983953A1 (en) | Understanding deep learning models | |
| CN115393751A (zh) | 数据处理方法、存储介质及电子设备 | |
| CN110427870B (zh) | 眼部图片识别方法、目标识别模型训练方法及装置 | |
| CN115457329A (zh) | 图像分类模型的训练方法、图像分类方法和装置 | |
| CN112580616B (zh) | 人群数量确定方法、装置、设备及存储介质 | |
| CN112802027A (zh) | 一种目标对象的分析方法、存储介质及电子装置 | |
| Surya et al. | The IoT-based real-time image processing for animal recognition and classification using deep convolutional neural network (DCNN) | |
| CN110490876B (zh) | 一种基于轻量级神经网络的图像分割方法 | |
| CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
| CN116580054A (zh) | 视频数据处理方法、装置、设备以及介质 | |
| Gera et al. | Imponderous net for facial expression recognition in the wild |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |