CN112926553A - 一种动作检测网络的训练方法及装置 - Google Patents

一种动作检测网络的训练方法及装置 Download PDF

Info

Publication number
CN112926553A
CN112926553A CN202110445339.2A CN202110445339A CN112926553A CN 112926553 A CN112926553 A CN 112926553A CN 202110445339 A CN202110445339 A CN 202110445339A CN 112926553 A CN112926553 A CN 112926553A
Authority
CN
China
Prior art keywords
network
feature vector
determining
trained
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110445339.2A
Other languages
English (en)
Other versions
CN112926553B (zh
Inventor
郭豪
蔡准
孙悦
郭晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Trusfort Technology Co ltd
Original Assignee
Beijing Trusfort Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Trusfort Technology Co ltd filed Critical Beijing Trusfort Technology Co ltd
Priority to CN202110445339.2A priority Critical patent/CN112926553B/zh
Publication of CN112926553A publication Critical patent/CN112926553A/zh
Application granted granted Critical
Publication of CN112926553B publication Critical patent/CN112926553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种动作检测网络的训练方法及装置，包括：利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量；利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量；利用所述待训练网络的全连接结构，确定所述第二特征向量对应的预测结果；根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练；将完成所述数据训练的所述待训练网络确定为动作检测网络。

Description

一种动作检测网络的训练方法及装置
技术领域
本申请涉及神经网络技术领域，尤其涉及一种动作检测网络的训练方法及装置。
背景技术
随着人们在日常生活中，对手机等智能设备的依赖程度越来越高，使用时间越来越长，也为生活健康带来了一定隐患。在使用过程中，通过智能设备内置的传感器检测用户动作、分析用户行为，能够一定程度上引导用户健康使用。
现有技术中，基于传感器采集得到的传感数据对用户动作进行检测，往往依靠研发人员的经验。即根据经验分析，用户在特定场景下进行特定动作时，传感数据可能呈现何种数据形态，从而发掘其中规律。进而通过此规律完成动作检测。
不过上述方式的缺陷在于，智能设备的型号不同，传感器的敏感程度不一致，导致采集得到的传感数据规律性不够明确，难以通过人工进行全面的分析。以至于对于动作检测的准确性无法得到保障。
发明内容
本申请提供一种动作检测网络的训练方法及装置。
第一方面，本申请提供一种动作检测网络的训练方法，包括：
利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量；所述标注样本包括：运动加速度数据、重力加速度数据和标注信息；所述标注信息包括，场景标签和行为标签；
利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量；
利用所述待训练网络的全连接结构，确定所述第二特征向量对应的预测结果；
根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练；将完成所述数据训练的所述待训练网络确定为动作检测网络。
优选的，所述卷积网络结构包括，卷积层和最大池化层；所述利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量包括：
将所述第一特征向量输入所述卷积网络结构，以使所述第一特征向量经过所述卷积层和所述最大池化层，以确定所述第二特征向量。
优选的，所述第一特征向量经过所述卷积层和所述最大池化层包括：
所述第一特征向量单次经过所述卷积层和所述最大池化层；
或者，所述第一特征向量多次经过所述卷积层和所述最大池化层。
优选的，所述根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练包括：
根据所述预测结果和所述标注样本对应的标注信息，确定目标损失函数；
利用所述目标损失函数对所述待训练网络进行数据训练。
优选的，所述根据所述预测结果和所述标注样本对应的标注信息，确定目标损失函数包括：
利用所述预测结果、所述场景标签和所述行为标签，确定第一损失函数；
利用所述预测结果和所述场景标签，确定第二损失函数；
利用所述预测结果和所述行为标签，确定第三损失函数；
根据所述第一损失函数、所述第二损失函数和所述第三损失函数，确定所述目标损失函数。
第二方面，本申请提供一种动作检测方法，包括：
利用动作检测网络的门控循环网络结构，确定待测数据对应的第三特征向量；
利用所述动作检测网络的卷积网络结构，确定所述第三特征向量对应的第四特征向量；
利用所述动作检测网络的全连接结构，确定所述第四特征向量对应的动作检测结果；
所述动作检测网络由第一方面中所述方法训练得到。
第三方面，本申请提供一种动作检测网络的训练装置，包括：
第一特征向量确定模块，用于利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量；所述标注样本包括：运动加速度数据、重力加速度数据和标注信息；所述标注信息包括，场景标签和行为标签；
第二特征向量确定模块，用于利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量；
预测模块，用于利用所述待训练网络的全连接结构，确定所述第二特征向量对应的预测结果；
训练模块，用于根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练；将完成所述数据训练的所述待训练网络确定为动作检测网络。
第四方面，本申请提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本申请所述的动作检测网络的训练方法。
第五方面，本申请提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本申请所述的动作检测网络的训练方法。
与现有技术相比，本申请提供的一种动作检测网络的训练方法及装置，通过监督学习训练得到动作检测网络，并利用动作检测网络实现了对于用户的动作检测，从而在使用过程中分析用户行为，在一定程度上引导用户健康使用；通过网络模型实现的动作检测，可以避免传感数据规律性不够明确、人工作业难以全面进行分析的问题，从而提高了动作检测的准确性。
附图说明
图1为本申请一实施例提供的一种动作检测网络的训练方法的流程示意图；
图2为本申请一实施例提供的一种动作检测网络的训练方法中的待训练网络的结构示意图；
图3为本申请一实施例提供的一种动作检测方法的流程示意图；
图4为本申请一实施例提供的一种动作检测网络的训练装置的结构示意图；
图5为本申请一实施例提供的一种动作检测装置的结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，基于传感器采集得到的传感数据对用户动作进行检测，往往依靠研发人员的经验。即根据经验分析，用户在特定场景下进行特定动作时，传感数据可能呈现何种数据形态，从而发掘其中规律。进而通过此规律完成动作检测。
不过上述方式的缺陷在于，智能设备的型号不同，传感器的敏感程度不一致，导致采集得到的传感数据规律性不够明确，难以通过人工进行全面的分析。以至于对于动作检测的准确性无法得到保障。
因此，本申请实施例将提供一种动作检测网络的训练方法。如图1所示，本实施例中方法包括以下步骤：
步骤101、利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量。
本实施例中，将采用监督学习的方式进行数据训练。也就是通过标注样本进行数据训练。标注样本可以包括，运动加速度数据、重力加速度数据和标注信息；标注信息包括，场景标签和行为标签。
运动加速度数据，即智能设备内置的加速度传感器采集的传感数据，可以体现出智能设备的移动状态。运动加速度数据在不同方向上的数据分量可分别表示为ax、ay、az。重力加速度数据，即重力传感器采集的传感数据，可以体现出智能设备的位姿。重力加速度数据在智能设备的不同轴向上的数据分量可分别表示为gx、gy、gz。
标注样本中的一个数据点，表示特定时刻对应的运动加速度数据和重力加速度数据。也就是说一个数据点中可以将运动加速度数据和重力加速度数据相结合的表示为（ax，ay，az，gx，gy，gz）。可见一个数据点中包括6个特征维度。在一份标注样本中，可以包括m个类似的数据点。则标注样本的样本数据可以表示为一个m*6的矩阵。
可以理解的是，在用户持有智能设备进行不同的动作时，智能设备的移动状态和位姿会具有某些特定特点。而标注信息代表了标注样本中的数据所对应的动作。本实施例中，可以将一个动作细分为场景和行为2部分。场景可以包括：站立、走路和坐卧。行为可以包括：看新闻，打游戏，看视频，编辑文字，通话，其他行为。任意场景和任意行为进行组合，则构成一个完整的动作。因此，场景标签将表示该样本数据对应的动作属于哪个场景。行为标签将表示该样本数据对应的动作属于哪个行为。例如在某个标注样本中，标注信息具体为，坐卧、打游戏。则可以说明，该标注样本中的运动加速度数据和重力加速度数据，是在用户坐卧姿势下使用智能设备打游戏的过程中采集得到。
待训练网络即未经过训练，或未完成训练的初始神经网络。本实施例中目的，即是对待训练网络进行数据训练，以获得动作检测网络。本实施例中，待训练网络的结构可如图2所示。
待训练网络中包括门控循环网络结构（Gated Recurrent Unit，简称GRU），在本实施例中具体可以采用双向GRU。本步骤中对于GRU的具体内部结构不做限定，在实施过程中可选择常规的GRU结构结合在本实施例整体技术方案中。标注样本的样本数据可以输入到该GRU当中，从而得到第一特征向量。本实施例中假设GRU的输出维度为k，则双向GRU的输出维度为2k。在样本数据为m*6矩阵时，第一特征向量的数据维度将是m*2k。
步骤102、利用待训练网络的卷积网络结构，确定第一特征向量对应的第二特征向量。
在本实施例中，卷积网络结构包括，卷积层和最大池化层。其中，卷积层中包括多个卷积核，卷积核的数量可以以s表示；每个卷积核的维度为m*t，其中s、m、t均为正整数。第一特征向量首先经过卷积层进行卷积处理，卷积步长可设为1，以此确定第五特征向量。按照上述的数学表示，第五特征向量的维度应当是s*（2k-t+1）。第五特征向量可进一步的输入到最大池化层中，以进行最大池化处理，从而得到第二特征向量。第二特征向量的维度应当为s。
另外还需要说明的是，上述利用卷积网络结构对第一特征向量进行处理的过程，可以是单次，也可以是循环多次。单次处理意味着，将第一特征向量一次输入卷积网络结构，执行一次卷积及最大池化处理之后，得到第二特征向量。循环多次处理意味着，将每次最大池化层输出的特征向量，进一步的循环输入到卷积层当中，进行多次重复的卷积及最大池化处理，最终输出第二特征向量。循环处理的次数可根据实际需求进行设定。
步骤103、利用待训练网络的全连接结构，确定第二特征向量对应的预测结果。
将第二特征向量输入到待训练网络的全连接结构，即可确定标注样本对应的预测结果，也就是第二特征向量对应的预测结果。可以认为，预测结果就是待训练网络根据标注样本进行动作检测所确定的结果。
类似于标注信息的是，预测结果中也可以包括场景信息和行为信息。预测结果中所描述的动作，同样可以细分为场景和行为2部分。场景可以包括：站立、走路和坐卧。行为可以包括：看新闻，打游戏，看视频，编辑文字，通话，其他行为。本实施例中预测结果具体可以是：坐卧，看视频。
步骤104、根据预测结果，和标注样本对应的标注信息，对待训练网络进行数据训练；将完成数据训练的待训练网络确定为动作检测网络。
可以理解的是，由于待训练网络尚未完成训练，所以其得到的预测结果可能正确，也可能不正确。而标注信息则可认为是既定的正确结果。对照本实施例中，标注信息具体为，坐卧、打游戏；预测结果具体为，坐卧，看视频。可见其中对于场景部分的预测是正确的，对于动作部分的预测是错误的。
所以在监督学习的过程中，可以根据预测结果和标注样本对应的标注信息，确定目标损失函数；利用目标损失函数对待训练网络进行数据训练。本实施例中，可以根据场景和动作两部分信息，分别构建第一损失函数、第二损失函数和第三损失函数；并根据第一损失函数、第二损失函数和第三损失函数，确定目标损失函数。
具体的，可以利用预测结果、场景标签和行为标签，确定第一损失函数。第一损失函数的数学表示如下：
Figure 631436DEST_PATH_IMAGE001
其中，L1代表第一损失函数；N为标注样本的数量；yi代表第i个标注样本的标注信息，wi代表第i个标注样本的预测结果，其中，i为不大于N的正整数；A代表第二特征向量；k1代表场景和动作的组合数量，本实施例中包括3中场景和6中动作，即可得到3*6=18中组合；wj代表第j个标注样本的预测结果，其中，j为不大于k1的正整数。
利用预测结果和场景标签，确定第二损失函数。第二损失函数的数学表示如下：
Figure 345314DEST_PATH_IMAGE002
其中，L2代表第二损失函数，k2代表场景的数量。
利用预测结果和行为标签，确定第三损失函数。第三损失函数的数学表示如下：
Figure 125051DEST_PATH_IMAGE003
其中，L3代表第三损失函数，k3代表动作的数量。
结合第一损失函数、第二损失函数和第三损失函数，可以确定目标损失函数如下：
L=L1+αL2+βL3
其中，L代表目标损失函数，α和β分别为第二损失函数和第三损失函数的权重系数。
通过目标损失函数，能够体现出预测结果的整体损失，以及其在场景和动作两个方面各自的损失。以此进行监督学习训练，可使得待训练网络逐渐收敛，从而将完成数据训练的待训练网络确定为动作检测网络。至此，本实施例中完成了对于动作检测网络的训练。后续利用动作检测网络即可实现动作检测，即通过智能设备的传感器，实现对于用户操作动作的识别，从而在使用过程中分析用户行为，在一定程度上引导用户健康使用。
图1所示实施例中，描述了动作检测网络的训练方法。按照上述方式得到动作检测网络之后，可根据图3所示实施例中方法对该动作检测网络进行应用，从而实现动作检测。图3所示实施例中，该方法具体包括以下步骤：
步骤301、利用动作检测网络的门控循环网络结构，确定待测数据对应的第三特征向量。
可以理解的是，本申请中动作检测网络是通过上述待训练网络训练得到，而监督学习训练的过程并不改变其网络结构，所以二者的网络结构一致，即动作检测网络的结构同样如图2所示。
待测数据即用户实际使用智能设备的时候，智能设备内置的传感器采集得到的传感数据。该传感数据同样包括运动加速度数据和重力加速度数据。待测数据输入到门控循环网络结构之后，即可得到第三特征向量。
步骤302、利用动作检测网络的卷积网络结构，确定第三特征向量对应的第四特征向量。
同样的，第三特征向量输入卷积网络结构，可得到对应的第四特征向量。
步骤303、利用动作检测网络的全连接结构，确定第四特征向量对应的动作检测结果。
将第四特征向量输出全连接结构，即可得到对应的动作检测结果。至此，本实施例中利用动作检测网络实现了动作检测。
通过以上技术方案可知，本申请存在的有益效果是：通过监督学习训练得到动作检测网络，并利用动作检测网络实现了对于用户的动作检测，从而在使用过程中分析用户行为，在一定程度上引导用户健康使用；通过网络模型实现的动作检测，可以避免传感数据规律性不够明确、人工作业难以全面进行分析的问题，从而提高了动作检测的准确性。
如图4所示，为本申请所述动作检测网络的训练装置的一个具体实施例。本实施例装置，即用于执行图1所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：
第一特征向量确定模块401，用于利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量。标注样本包括：运动加速度数据、重力加速度数据和标注信息；标注信息包括，场景标签和行为标签。
第二特征向量确定模块402，用于利用待训练网络的卷积网络结构，确定第一特征向量对应的第二特征向量。
预测模块403，用于利用待训练网络的全连接结构，确定第二特征向量对应的预测结果。
训练模块404，用于根据预测结果，和标注样本对应的标注信息，对待训练网络进行数据训练；将完成数据训练的待训练网络确定为动作检测网络。
另外在图4所示实施例的基础上，优选的，还包括：
卷积网络结构包括，卷积层和最大池化层；第二特征向量确定模块402包括：
第五特征向量确定单元421，用于将第一特征向量输入卷积层，确定第五特征向量。
第二特征向量确定单元422，用于将第五特征向量输入最大池化层，确定第二特征向量。
训练模块404包括：
第一损失函数确定单元441，用于利用预测结果、场景标签和行为标签，确定第一损失函数；
第二损失函数确定单元442，用于利用预测结果和场景标签，确定第二损失函数；
第三损失函数确定单元443，用于利用预测结果和行为标签，确定第三损失函数；
目标损失函数确定单元444，用于根据第一损失函数、第二损失函数和第三损失函数，确定目标损失函数。
如图5所示，为本申请所述动作检测装置的一个具体实施例。本实施例装置，即用于执行图3所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：
第三特征向量确定模块501，用于利用动作检测网络的门控循环网络结构，确定待测数据对应的第三特征向量。
第四特征向量确定模块502，用于利用动作检测网络的卷积网络结构，确定第三特征向量对应的第四特征向量。
检测模块503，用于利用动作检测网络的全连接结构，确定第四特征向量对应的动作检测结果。
动作检测网络由图1所示实施例中方法训练得到。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (9)

1.一种动作检测网络的训练方法，其特征在于，包括：
利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量；所述标注样本包括，运动加速度数据、重力加速度数据和标注信息；所述标注信息包括，场景标签和行为标签；
利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量；
利用所述待训练网络的全连接结构，确定所述第二特征向量对应的预测结果；
根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练；将完成所述数据训练的所述待训练网络确定为动作检测网络。
2.根据权利要求1所述方法，其特征在于，所述卷积网络结构包括，卷积层和最大池化层；所述利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量包括：
将所述第一特征向量输入所述卷积网络结构，以使所述第一特征向量经过所述卷积层和所述最大池化层，以确定所述第二特征向量。
3.根据权利要求2所述方法，其特征在于，所述第一特征向量经过所述卷积层和所述最大池化层包括：
所述第一特征向量单次经过所述卷积层和所述最大池化层；
或者，所述第一特征向量多次经过所述卷积层和所述最大池化层。
4.根据权利要求1所述方法，其特征在于，所述根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练包括：
根据所述预测结果和所述标注样本对应的标注信息，确定目标损失函数；
利用所述目标损失函数对所述待训练网络进行数据训练。
5.根据权利要求4所述方法，其特征在于，所述根据所述预测结果和所述标注样本对应的标注信息，确定目标损失函数包括：
利用所述预测结果、所述场景标签和所述行为标签，确定第一损失函数；
利用所述预测结果和所述场景标签，确定第二损失函数；
利用所述预测结果和所述行为标签，确定第三损失函数；
根据所述第一损失函数、所述第二损失函数和所述第三损失函数，确定所述目标损失函数。
6.一种动作检测方法，其特征在于，包括：
利用动作检测网络的门控循环网络结构，确定待测数据对应的第三特征向量；
利用所述动作检测网络的卷积网络结构，确定所述第三特征向量对应的第四特征向量；
利用所述动作检测网络的全连接结构，确定所述第四特征向量对应的动作检测结果；
所述动作检测网络由权利要求1-5任意一项中所述方法训练得到。
7.一种动作检测网络的训练装置，其特征在于，包括：
第一特征向量确定模块，用于利用待训练网络的门控循环网络结构，确定标注样本对应的第一特征向量；所述标注样本包括，运动加速度数据、重力加速度数据和标注信息；所述标注信息包括，场景标签和行为标签；
第二特征向量确定模块，用于利用所述待训练网络的卷积网络结构，确定所述第一特征向量对应的第二特征向量；
预测模块，用于利用所述待训练网络的全连接结构，确定所述第二特征向量对应的预测结果；
训练模块，用于根据所述预测结果，和所述标注样本对应的标注信息，对所述待训练网络进行数据训练；将完成所述数据训练的所述待训练网络确定为动作检测网络。
8.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一项所述的动作检测网络的训练方法。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5任一项所述的动作检测网络的训练方法。
CN202110445339.2A 2021-04-25 2021-04-25 一种动作检测网络的训练方法及装置 Active CN112926553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110445339.2A CN112926553B (zh) 2021-04-25 2021-04-25 一种动作检测网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110445339.2A CN112926553B (zh) 2021-04-25 2021-04-25 一种动作检测网络的训练方法及装置

Publications (2)

Publication Number Publication Date
CN112926553A true CN112926553A (zh) 2021-06-08
CN112926553B CN112926553B (zh) 2021-08-13

Family

ID=76174686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110445339.2A Active CN112926553B (zh) 2021-04-25 2021-04-25 一种动作检测网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN112926553B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及系统
CN109979161A (zh) * 2019-03-08 2019-07-05 河海大学常州校区 一种基于卷积循环神经网络的人体跌倒检测方法
CN110503082A (zh) * 2019-08-30 2019-11-26 腾讯科技（深圳）有限公司 一种基于深度学习的模型训练方法以及相关装置
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统
CN111199202A (zh) * 2019-12-30 2020-05-26 南京师范大学 基于循环注意力网络的人体动作识别方法及识别装置
CN111582382A (zh) * 2020-05-09 2020-08-25 Oppo广东移动通信有限公司 状态识别方法、装置以及电子设备
CN111796314A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN111914807A (zh) * 2020-08-18 2020-11-10 太原理工大学 一种基于传感器和骨架信息的矿工行为识别方法
US20200371481A1 (en) * 2019-05-22 2020-11-26 The Chinese University Of Hong Kong Control system, control method and computer storage medium
CN112075940A (zh) * 2020-09-21 2020-12-15 哈尔滨工业大学 一种基于双向长短时记忆神经网络的震颤检测系统
CN112287855A (zh) * 2020-11-02 2021-01-29 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的驾驶行为检测方法和装置
CN112434669A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种多信息融合的人体行为检测方法及系统
CN112633276A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 训练方法、识别方法、装置、设备、介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及系统
CN109979161A (zh) * 2019-03-08 2019-07-05 河海大学常州校区 一种基于卷积循环神经网络的人体跌倒检测方法
CN111796314A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及电子设备
US20200371481A1 (en) * 2019-05-22 2020-11-26 The Chinese University Of Hong Kong Control system, control method and computer storage medium
CN110503082A (zh) * 2019-08-30 2019-11-26 腾讯科技（深圳）有限公司 一种基于深度学习的模型训练方法以及相关装置
CN110889325A (zh) * 2019-10-12 2020-03-17 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN110909885A (zh) * 2019-11-19 2020-03-24 支付宝(杭州)信息技术有限公司 一种平衡多个任务的方法及系统
CN111199202A (zh) * 2019-12-30 2020-05-26 南京师范大学 基于循环注意力网络的人体动作识别方法及识别装置
CN111582382A (zh) * 2020-05-09 2020-08-25 Oppo广东移动通信有限公司 状态识别方法、装置以及电子设备
CN111914807A (zh) * 2020-08-18 2020-11-10 太原理工大学 一种基于传感器和骨架信息的矿工行为识别方法
CN112075940A (zh) * 2020-09-21 2020-12-15 哈尔滨工业大学 一种基于双向长短时记忆神经网络的震颤检测系统
CN112287855A (zh) * 2020-11-02 2021-01-29 东软睿驰汽车技术（沈阳）有限公司 基于多任务神经网络的驾驶行为检测方法和装置
CN112434669A (zh) * 2020-12-14 2021-03-02 武汉纺织大学 一种多信息融合的人体行为检测方法及系统
CN112633276A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 训练方法、识别方法、装置、设备、介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUKUN WANG 等: "Human Activity Recognition Based on Wearable Sensor Using Hierarchical Deep LSTM Networks", 《CIRCUITS, SYSTEMS, AND SIGNAL PROCESSING》 *
SHILONG YU 等: "HUMAN activity recognition with smartphone intertial sensors using bidir-LSTM networks", 《2018 3RD INTERNATIONAL CONFERENCE ON MECHANICAL, CONTROL AND COMPUTER ENGINEERING》 *
佟丽娜 等: "基于惯性传感器和 LSTM 神经网络的人体运动识别方法", 《传感技术学报》 *
朱国康 等: "面向腕臂动作识别的加速度计数据分析", 《机械科学与技术》 *

Also Published As

Publication number Publication date
CN112926553B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109388807B (zh) 电子病历命名实体识别的方法、装置及存储介质
CN111027487B (zh) 基于多卷积核残差网络的行为识别系统、方法、介质及设备
CN111294646B (zh) 一种视频处理方法、装置、设备及存储介质
CN112183577A (zh) 一种半监督学习模型的训练方法、图像处理方法及设备
CN111079658B (zh) 基于视频的多目标连续行为分析方法、系统、装置
CN111860588A (zh) 一种用于图神经网络的训练方法以及相关设备
CN111950596A (zh) 一种用于神经网络的训练方法以及相关设备
CN113392742A (zh) 异常动作确定方法、装置、电子设备及存储介质
CN111368656A (zh) 一种视频内容描述方法和视频内容描述装置
CN111191136A (zh) 一种信息推荐方法以及相关设备
CN112529149B (zh) 一种数据处理方法及相关装置
CN110135497A (zh) 模型训练的方法、面部动作单元强度估计的方法及装置
CN112052816B (zh) 基于自适应图卷积对抗网络的人体行为预测方法及系统
CN116229530A (zh) 图像处理方法、装置、存储介质及电子设备
Giorgi et al. Walking through the deep: Gait analysis for user authentication through deep learning
CN113743273A (zh) 基于视频图像目标检测的实时跳绳计数方法、装置和设备
Jiao et al. Golf swing classification with multiple deep convolutional neural networks
CN111161883A (zh) 基于变分自编码器的疾病预测系统及其电子设备
CN112883227A (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN114095381A (zh) 多任务模型训练方法、多任务预测方法及相关产品
Mohammed et al. Recognition of yoga asana from real-time videos using blaze-pose
CN113177455B (zh) 一种用于识别运动强度的方法和系统
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN112926553B (zh) 一种动作检测网络的训练方法及装置
CN112966547A (zh) 一种基于神经网络的燃气现场异常行为识别预警方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant