CN107728775A - 动作识别方法及其装置 - Google Patents

动作识别方法及其装置 Download PDF

Info

Publication number
CN107728775A
CN107728775A CN201610653994.6A CN201610653994A CN107728775A CN 107728775 A CN107728775 A CN 107728775A CN 201610653994 A CN201610653994 A CN 201610653994A CN 107728775 A CN107728775 A CN 107728775A
Authority
CN
China
Prior art keywords
data
training
feature
data segment
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610653994.6A
Other languages
English (en)
Inventor
徐卓然
侯翠琴
夏迎炬
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201610653994.6A priority Critical patent/CN107728775A/zh
Publication of CN107728775A publication Critical patent/CN107728775A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动作识别方法及其装置。该动作识别方法包括：将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别用户动作。根据本发明的方法及装置能够识别复杂的动作。

Description

动作识别方法及其装置
技术领域
本发明涉及动作识别领域，具体涉及一种动作识别方法及其装置和数据段特征提取方法及其装置。
背景技术
现今，可穿戴设备得到了越来越广泛的关注。可穿戴设备具有独特的优点，即能够基于动作识别技术来进行动作或健康的监测。通常，动作识别技术依赖于可穿戴设备所配置的各种传感器，诸如加速度计、陀螺仪和磁力计等。然而，传感器的检测数据会随着设备佩戴的位置和/或朝向而变化。从而，在以不同的位置和/或朝向佩戴设备时，做同样的动作会得到完全不同的数据。
现有的动作识别方法使用均值、偏差、傅里叶变换等作为表征用户动作的特征，并基于该特征进行分类。另外一些方法使用隐马尔科夫模型直接从原始数据中学习分类器。这些方法均没有考虑设备佩戴位置和/或朝向对动作识别的影响。并且，现有方法中使用的特征仅适用于识别简单的动作，如计步数，而不能用于识别诸如具有0-9的轨迹的手写动作等。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。
鉴于以上提到的问题，本发明提供了一种提取能够稳定地描述复杂动作的特征的方法及其装置以及利用该特征进行动作识别的动作识别方法和动作识别装置。
根据本发明的一个方面，提供了一种动作识别方法，包括：将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
根据本发明的另一方面，提供了一种动作识别装置，包括：分割部件，用于将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；数据段特征提取部件，用于针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及识别部件，用于通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
根据本发明的再一方面，提供了一种数据段特征提取方法，包括：将数据段细分成彼此不重叠的多个子段；计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系；以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征。
根据本发明的又一方面，提供了一种数据段特征提取装置，包括：细分单元，将数据段细分成彼此不重叠的多个子段；计算单元，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系；以及连接单元，依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征。
根据本发明的又一方面，提供了一种训练分类器的方法，包括：将用于训练的所有训练数据串中的每一个训练数据串分割成具有固定时长的多个训练数据段；针对每一个训练数据段，将该训练数据段细分成彼此不重叠的多个训练子段，计算各个训练子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为所述训练数据段的训练数据段特征；基于所提取的所有训练数据串的所有训练数据段的训练数据段特征来获取各个训练数据串的训练数据串特征；以及对各个训练数据串进行标记，并使用所述标记和所述训练数据串特征来训练所述分类器。
根据本发明的另一方面，还提供了一种存储介质。所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
根据本发明的又一方面，还提供了一种程序。所述程序包括机器可执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行根据本发明的上述方法。
通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
参照附图来阅读本发明的各实施方式，将更容易理解本发明的其它特征和优点，在此描述的附图只是为了对本发明的实施方式进行示意性说明的目的，而非全部可能的实施，并且不旨在限制本发明的范围。在附图中：
图1示出了根据本发明的实施例的动作识别方法的流程图。
图2示出了根据本发明的实施例的提取数据段特征的方法的流程图。
图3示出了根据本发明的一个具体实施例的提取数据段特征的过程的示意图。
图4示出了对根据本发明的实施例的动作识别方法中所使用的分类器进行训练的方法的流程图。
图5示出了根据本发明的实施例的动作识别装置的框图。
图6示出了根据本发明的实施例的动作识别装置中的数据段特征提取部件的结构的框图。
图7示出了用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
具体实施方式
现参照附图对本发明的实施方式进行详细描述。应注意，以下描述仅仅是示例性的，而并不旨在限制本发明。此外，在以下描述中，将采用相同的附图标号表示不同附图中的相同或相似的部件。在以下描述的不同实施方式中的不同特征，可彼此结合，以形成本发明范围内的其他实施方式。
下面首先结合图1来详细描述根据本发明的实施例的动作识别方法100的流程图。
如图1所示，该方法100包括分割步骤S120、数据段特征提取步骤S130和识别步骤S140。可选地，方法100还可以包括采集步骤S110。
在步骤S110中，利用传感器采集用户的动作记录。用户的动作记录是依时序排列的数据串，并且数据串中的各个时间点处的数据根据所配置的传感器的数目而可能是3维、6维或9维等。以市售的MPU9250传感器为例，其具有加速度计、陀螺仪和磁力计。该加速度计、陀螺仪和磁力计中的每一个具有对应于x、y和z轴的三维读数，因此，MPU9250检测到的数据串中的每个时间点处的数据为9维。另外，因动作的完成时间不固定，可快、可慢，从而步骤S110中所采集的数据串可能具有不同的时长。为此，在分割步骤S120中，将所采集到的数据串分割成具有固定时长的多个数据段。所分割的数据段不能太短，否则无法表征复杂的动作。在此，假定将数据串分割成包含N个时间点的数据段。该分割可以以重叠的方式进行，例如，分割得到的第一数据段包括时间点集[t,t+N],第二数据段包括时间点集[t+1,t+1+N]。然后，在步骤S130中，针对分割得到的多个数据段中的每一个数据段来提取数据段特征。最后，在步骤S140中，通过预先训练的分类器，基于数据段特征来识别用户输入的动作。
下面，结合图2对动作识别方法100中的数据段特征提取步骤进行详细介绍。
图2示出了根据本发明的实施例的提取数据段特征的方法200的流程图。如图2所示，该提取数据段特征的方法200包括细分步骤S210，将数据段细分成彼此不重叠的若干子段；计算步骤S220，计算各个时间点处的数据相对于参考点处的数据的相对位置关系；以及连接步骤S230，依时序将所计算的相对位置关系连接在一起，作为该数据段的数据段特征。其中，参考点可以根据实际应用来选择子段中的任意点，例如可以选择时间中点、时间起点或时间终点等。
根据本发明的提取数据段特征的方法的一个具体示例，在计算步骤S220中，基于各个子段中的参考点和各个时间点处的数据，根据以下表达式(1)来计算各个时间点处的相对角。在表达式(1)中，v1表示各个时间点处的数据，v2表示参考点处的数据。
另外，由上文描述可知，所采集的数据串中的各个时间点处的数据根据所配置的传感器的数目而可能具有不同的维度。在利用多个传感器采集数据串的情形中，数据串中的各个时间点处的数据为超过三维的高维数据。鉴于直接处理高维数据的计算量比较大，在本发明的数据段特征提取方法的一个具体实施例中，我们分别针对各个传感器所检测到的数据进行处理，换言之，待处理的数据均为三维数据。具体地，首先，将数据段分解成分别由各个传感器所检测的数据构成的多个分数据段，从而将高维的数据段分解成低维的多个分数据段。然后，对各个分数据段执行细分步骤210和计算步骤220，以得到各个分数据段中的各个子段的各个时间点处的相对位置关系。接着，在连接步骤S230中，将针对各个分数据段的相对位置关系按时间点分别组合后再依时序连接在一起，从而得到数据段特征。
下面，参照图3，以加速计、陀螺仪和磁力计为例来对图2中的提取数据段特征的方法的进行描述。首先，将数据段分解成分别由加速度计、陀螺仪和磁力计所检测到的数据构成的多个分数据段，即对应于加速度计的分数据段a1、对应于陀螺仪的分数据段a2和对应于磁力计的分数据段a3。然后，将分数据段a1、a2和a3分别细分成彼此不重叠的两个子段。假设分数据段的长度为N，则子段的长度为n＝N/2。并且，基于各个子段中的时间中点和各个时间点处的数据，根据表达式(1)来计算各个时间点处的相对角。具体地，对于加速度计：
在第一子段中，时间中点处的数据为A0m，各个时间点处的数据为A01……A0n，各个时间点处的相对角为RA(A01，A0m)……RA(A0n，A0m)；
在第二子段中，时间中点处的数据为A1m，各个时间点处的数据为A11……A1n，各个时间点处的相对角为RA(A11，A1m)……RA(A1n，A1m)。
对于陀螺仪：
在第一子段中，时间中点处的数据为G0m，其他各个时间点处的数据为G01……G0n，各个时间点处的相对角为RA(G01，G0m)……RA(G0n，G0m)；
在第二子段中，时间中点处的数据为G1m，其他各个时间点处的数据为G11……G1n，各个时间点处的相对角为RA(G11，G1m)……RA(G1n，G1m)。
对于磁力计：
在第一子段中，时间中点处的数据为M0m，其他各个时间点处的数据为M01……M0n，各个时间点处的相对角为RA(M01，M0m)……RA(M0n，M0m)；
在第二子段中，时间中点处的数据为M1m，其他各个时间点处的数据为M11……M1n，各个时间点处的相对角为RA(M11，M1m)……RA(M1n，M1m)。
接着，将各个分数据段a1、a2和a3的相对角按时间点组合，得到：在01点处，RA(A01，A0m)，RA(G01，G0m)，RA(M01，M0m)；
……
在0n点处，RA(A0n，A0m)，RA(G0n，G0m)，RA(M0n，M0m)；
在11点处，RA(A11，A0m)，RA(G11，G0m)，RA(M11，M0m)；
……
在1n点处，RA(A1n，A0m)，RA(G1n，G0m)，RA(M1n，M0m)。
在各个时间点处组合相对角的顺序没有特定限制。然后，将组合后的相对角依时序连接，得到以下数据段特征：
数据段特征＝(RA(A01，A0m)，RA(G01，G0m)，RA(M01，M0m)；……；RA(A0n，A0m)，RA(G0n，G0m)，RA(M0n，M0m)；RA(A11，A0m)，RA(G11，G0m)，RA(M11，M0m)；……；RA(A1n，A0m)，RA(G1n，G0m)，RA(M1n，M0m))。
根据上述方法得到数据段特征之后，接着，通过预先训练的分类器，基于该数据段特征来识别用户的动作。下面，在对识别步骤S140进行详细介绍之前，首先参考图4来具体说明分类器的训练方法。
图4示出了对根据本发明的实施例的动作识别方法中所使用的分类器进行训练的方法400的示例流程。如图4所示，该训练方法400包括分割步骤S410、数据段特征提取步骤420、数据串特征获取步骤S430、训练步骤S440。在步骤S410中，将用于训练的所有数据串分割成具有固定时长的多个数据段。在步骤S420中，利用以上描述的提取数据段特征的方法来提取用于训练的所有数据串的所有数据段的数据段特征。然后，在步骤S430中，基于所提取的所有数据串的所有数据段的数据段特征来获取各个数据串的数据串特征。接着，在步骤S440中，对各个数据串进行标记，并使用该标记和数据串特征来训练分类器。分类器没有特定限制，可以是诸如SVM或决策树等分类器。
在数据段特征提取步骤S420中，当用于训练的数据串通过多个传感器来采集时，如上述数据段特征提取方法的一个具体示例所示，可以分别针对各个传感器所采集的数据进行处理，以得到与各个传感器对应的各个子段的各个时间点处的相对位置关系。接着，将针对各个传感器的相对位置关系按时间点分别组合后再依时序连接在一起，从而得到数据段特征。
根据本发明的训练方法的一个具体示例，在数据串特征获取步骤S430中，对所有数据串的所有数据段的数据段特征进行聚类并得到k个聚类中心，其中，k的大小可以任意指定并且k被保留以便在动作识别中使用。然后，针对每个数据串，分别计算在k个聚类中心附近出现的数据段特征的数目，并且将这些数目组合成k维数组，作为数据串特征。其中，k维数组中的k个元素与k个聚类中心对应。优选地，在数据串特征获取步骤S430中，可以使用BoW(词袋模型)来获取数据串特征。
以下，详细说明动作识别方法100中的识别步骤S140。
在识别步骤S140中，基于与待识别的用户动作有关的数据串所包括的数据段的数据段特征来获取数据串特征，然后通过预先训练的分类器，基于该数据串特征来识别用户输入的动作。具体地，首先，利用在训练分类器的过程中所得到的k个聚类中心来分别计算在k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目，并且将这些数目组合成k维数组，作为待识别的数据串的数据串特征。其中，k维数组中的k个元素与k个聚类中心对应。然后，通过如上述训练方法所训练的分类器，基于该数据串特征来识别用户输入的动作。
以上结合附图对根据本发明的实施方式的动作识别方法和数据段特征提取方法进行了详细描述。下面将结合附图对根据本发明的实施方式的动作识别装置和数据段特征提取部件进行描述。
图5示出了根据本发明的实施例的动作识别装置的框图。如图5所示，根据本发明的实施方式的动作识别装置500包括分割部件520、数据段特征提取部件530和识别部件540。可选地，动作识别装置500还可以包括采集部件510，其利用传感器采集待识别的用户动作的记录，该动作记录是依时序排列的数据串。分割部件520将所采集的数据串分割成具有固定时长的多个数据段。数据段特征提取部件530用于提取每一个数据段的数据段特征。识别部件540用于通过预先训练的该分类器，基于数据段特征来识别用户输入的动作。
下面，参照图6对数据段特征提取部件530的结构进行详细介绍。如图6所示，数据段特征提取部件530包括：细分单元532，其将某个数据段细分成彼此不重叠的若干子段；计算单元533，其找出每个子段的参考点，并且基于各个子段的参考点和各个时间点处的数据来计算各个时间点处的相对位置关系；以及连接单元534，其依时序将所计算的相对位置关系连接在一起作为该某个数据段的数据段特征。
另外，在利用多个传感器采集数据串的情形中，为了将高维的数据段分解成低维的多个分数据段以减小计算量，数据段特征提取部件530还可以包括分解单元531。在该情形下，分解单元531将某个数据段分解成分别由各个传感器所检测的数据构成的多个分数据段。并且，细分单元532分别将各个分数据段细分成彼此不重叠的多个子段。计算单元533计算各个子段中的各个时间点处的数据相对于参考点处的数据的相对位置关系。连接单元534将针对各个分数据段的相对位置关系按时间点分别组合后再依时序连接在一起，从而得到该某个数据段的数据段特征。
在根据本发明的特征提取部件的一个具体示例中，计算单元533基于各个子段中的参考点和各个时间点处的数据，根据上文中提到的表达式(1)来计算各个时间点处的相对角。
在根据本发明的动作识别装置500的一个具体示例中，分类器通过下述方法来训练：将用于训练的所有数据串中的每一个数据串分割成具有固定时长的多个数据段；针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起，作为相应数据段的数据段特征；基于所提取的所有数据串的所有数据段的数据段特征来获取各个数据串的数据串特征；以及对各个数据串进行标记，并使用该标记和数据串特征来训练分类器。
在上述训练方法中，各个数据串的数据串特征通过下述来获取：对所有训练数据串的所有数据段的数据段特征进行聚类，以得到k个聚类中心；以及针对每个数据串，分别计算在k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目；以及将该数目组合成k维数组，作为相应数据串的数据串特征，其中所述k维数组中的k个元素与k个聚类中心对应。
此外，在根据本发明的动作识别装置500的一个具体示例中，识别部件540利用在训练步骤中得到的k个聚类中心、针对待识别的数据串所包含的所有数据段特征，分别计算在k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目，并且将这些数目组合成k维数组，作为数据串特征。其中，k维数组中的k个元素与k个聚类中心对应。然后，识别部件540将所得到的数据串特征输入到根据上述训练方法所训练的分类器中来识别用户动作。
由以上描述可知，在根据本发明的用于提取数据段特征的方法和装置中，先将数据串分割成数据段，然后再将数据段细分子段，接着对子段求相对位置关系，最终将各个子段的相对位置关系合并得到数据段特征。其中，分割的数据段可以较长以便能够表征复杂的动作，而在较短的子段上计算相对位置关系能够保证特征的稳定性。从而，根据本发明的用于提取数据段特征的方法和装置所得到的数据段特征能够稳定地描述复杂动作，且不受应用了本发明的可穿戴设备的佩戴位置和/或朝向的影响。
另外，根据本发明的动作识别方法和装置利用文中提到的提取数据段特征的方法来提取数据段特征，进而获取数据串特征，以表征用户的动作。与现有的利用均值、偏差、傅里叶变换等作为表征用户动作的特征的动作识别方法和装置相比，根据本发明的动作识别方法和装置能够识别较复杂的动作。
这里尚需指出的是，上述装置中各个组成部件可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图7所示的通用计算机700)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
图7示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
在图7中，中央处理单元(CPU)701根据只读存储器(ROM)702中存储的程序或从存储部分708加载到随机存取存储器(RAM)703的程序执行各种处理。在RAM 703中，还根据需要存储当CPU 701执行各种处理等等时所需的数据。CPU 701、ROM 702和RAM 703经由总线704彼此连接。输入/输出接口705也连接到总线704。
下述部件连接到输入/输出接口705：输入部分706(包括键盘、鼠标等等)、输出部分707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分708(包括硬盘等)、通信部分709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分709经由网络比如因特网执行通信处理。根据需要，驱动器710也可连接到输入/输出接口705。可拆卸介质711比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器710上，使得从中读出的计算机程序根据需要被安装到存储部分708中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质711。可拆卸介质711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 702、存储部分708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施方式的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的范围内。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
综上，在根据本发明的实施例中，本发明提供了如下技术方案。
方案1.一种动作识别方法，包括：
a)将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；
b)针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及
c)通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
方案2.根据方案1所述的方法，其中，所述分类器通过下述来训练：
将用于训练的所有训练数据串中的每一个训练数据串分割成具有固定时长的多个训练数据段；
针对每一个训练数据段，将该训练数据段细分成彼此不重叠的多个训练子段，计算各个训练子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为所述训练数据段的训练数据段特征；
基于所有训练数据串的所有训练数据段的训练数据段特征来获取各个训练数据串的训练数据串特征；以及
对各个训练数据串进行标记，并使用所述标记和所述训练数据串特征来训练所述分类器。
方案3.根据方案2所述的方法，其中，所述获取各个训练数据串的训练数据串特征包括：
对所有训练数据串的所有训练数据段的训练数据段特征进行聚类，以得到k个聚类中心；以及
针对每个训练数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的训练数据段特征的数目；以及
将所述数目组合成k维数组，作为相应训练数据串的训练数据串特征，其中所述k维数组中的k个元素与所述k个聚类中心对应。
方案4.根据方案3所述的方法，其中，所述识别所述用户动作包括：
针对与待识别的用户动作有关的数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目；
将这些数目组合成k维数组，作为数据串特征，其中所述k维数组中的k个元素与k个聚类中心对应；以及
通过所述分类器，基于所述数据串特征来识别所述用户动作。
方案5.根据方案1所述的方法，还包括：利用传感器采集所述数据串。
方案6.根据方案5所述的方法，其中，
利用多个传感器采集所述数据串；
在b)中，针对每一个数据段，将该数据段分解成分别由各个传感器所采集的数据构成的多个分数据段，分别将各个分数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及将针对各个分数据段的相对位置关系按时间点分别组合后再依时序连接在一起，作为所述数据段的数据段特征。
方案7.根据方案5-6中任一项所述的方法，其中，经由加速度计、陀螺仪和磁力计采集所述数据串。
方案8.根据方案1-6中任一项所述的方法，其中，所述分割以部分重叠的方式进行。
方案9.根据方案1-6中任一项所述的方法，其中，所述相对位置关系是依据以下公式计算得到的相对角：
其中，v1表示任一时间点处的数据，v2表示所述参考时间点处的数据。
方案10.根据方案1-6中任一项所述的方法，所述参考时间点为所述子段的时间起点、时间中点和时间终点中的任一个。
方案11.一种动作识别装置，包括：
分割部件，用于将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；
数据段特征提取部件，用于针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及
识别部件，用于通过预先训练的所述分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
方案12.根据方案11所述的装置，所述分类器通过下述来训练：
将用于训练的所有训练数据串中的每一个训练数据串分割成具有固定时长的多个训练数据段；
针对每一个训练数据段，将该训练数据段细分成彼此不重叠的多个训练子段，计算各个训练子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为所述训练数据段的训练数据段特征；
基于所有训练数据串的所有训练数据段的训练数据段特征来获取各个训练数据串的训练数据串特征；以及
对各个训练数据串进行标记，并使用所述标记和所述训练数据串特征来训练所述分类器。
方案13.根据方案12所述的装置，其中，所述获取各个训练数据串的训练数据串特征包括：
对所有训练数据串的所有训练数据段的训练数据段特征进行聚类，以得到k个聚类中心；以及
针对每个训练数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的训练数据段特征的数目；以及
将所述数目组合成k维数组，作为相应训练数据串的训练数据串特征，其中所述k维数组中的k个元素与所述k个聚类中心对应。
方案14.根据方案13所述的装置，其中，所述识别部件：
针对与待识别的用户动作有关的数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目；
将这些数目组合成k维数组，作为数据串特征，其中所述k维数组中的k个元素与k个聚类中心对应；以及
通过所述分类器，基于所述数据串特征来识别所述用户动作。
方案15.根据方案11所述的装置，还包括：采集部件，其利用传感器采集所述数据串。
方案16.根据方案15所述的装置，其中，在所述采集部件利用多个传感器采集所述数据串时，在所述数据段特征提取部件中，针对每一个数据段，将该数据段分解成分别由各个传感器所采集的数据构成的多个分数据段，分别将各个分数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及将针对各个分数据段的相对位置关系按时间点分别组合后再依时序连接在一起，作为所述数据段的数据段特征。
方案17.根据方案11-16中任一项所述的装置，其中所述分割以部分重叠的方式进行。
方案18.根据方案11-16中任一项所述的装置，其中所述相对位置关系是依据以下公式计算得到的相对角：
其中，v1表示任一时间点处的数据，v2表示所述参考时间点处的数据所述分割以部分重叠的方式进行。
方案19.根据方案11-16中任一项所述的装置，其中所述参考时间点为所述子段的时间起点、时间中点和时间终点中的任一个。
方案20.一种数据段特征提取方法，包括：
将数据段细分成彼此不重叠的多个子段；
计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系；以及
依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征。

Claims (10)

1.一种动作识别方法，包括：
a)将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；
b)针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及
c)通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
2.根据权利要求1所述的方法，其中，所述分类器通过下述来训练：
将用于训练的所有训练数据串中的每一个训练数据串分割成具有固定时长的多个训练数据段；
针对每一个训练数据段，将该训练数据段细分成彼此不重叠的多个训练子段，计算各个训练子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为所述训练数据段的训练数据段特征；
基于所有训练数据串的所有训练数据段的训练数据段特征来获取各个训练数据串的训练数据串特征；以及
对各个训练数据串进行标记，并使用所述标记和所述训练数据串特征来训练所述分类器。
3.根据权利要求2所述的方法，其中，获取各个训练数据串的训练数据串特征包括：
对所有训练数据串的所有训练数据段的训练数据段特征进行聚类，以得到k个聚类中心；以及
针对每个训练数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的训练数据段特征的数目；以及
将所述数目组合成k维数组，作为相应训练数据串的训练数据串特征，其中所述k维数组中的k个元素与所述k个聚类中心对应。
4.根据权利要求3所述的方法，其中，所述识别所述用户动作包括：
针对与待识别的用户动作有关的数据串，分别计算在所述k个聚类中心中的每一个聚类中心附近出现的数据段特征的数目；
将这些数目组合成k维数组，作为数据串特征，其中所述k维数组中的k个元素与k个聚类中心对应；以及
通过所述分类器，基于所述数据串特征来识别所述用户动作。
5.根据权利要求1所述的方法，还包括：利用传感器采集所述数据串。
6.根据权利要求5所述的方法，其中，
利用多个传感器采集所述数据串；以及
在b)中，针对每一个数据段，将数据段分解成分别由各个传感器所采集的数据构成的多个分数据段，分别将各个分数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及将针对各个分数据段的相对位置关系按时间点分别组合后再依时序连接在一起，作为所述数据段的数据段特征。
7.根据权利要求1-6中任一项所述的方法，其中，所述分割以部分重叠的方式进行。
8.根据权利要求1-6中任一项所述的方法，其中，所述相对位置关系是依据以下公式计算得到的相对角：
其中，v1表示任一时间点处的数据，v2表示所述参考时间点处的数据。
9.根据权利要求1-6中任一项所述的方法，所述参考时间点为所述子段的时间起点、时间中点和时间终点中的任一个。
10.一种动作识别装置，包括：
分割部件，用于将与待识别的用户动作有关的依时序排列的数据串分割成具有固定时长的多个数据段；
数据段特征提取部件，用于针对每一个数据段，将该数据段细分成彼此不重叠的多个子段，计算各个子段中的各个时间点处的数据相对于参考时间点处的数据的相对位置关系，以及依时序将所计算的相对位置关系连接在一起作为该数据段的数据段特征；以及
识别部件，用于通过预先训练的分类器，基于与待识别的用户动作有关的数据串所包括的所有数据段的数据段特征来识别所述用户动作。
CN201610653994.6A 2016-08-10 2016-08-10 动作识别方法及其装置 Pending CN107728775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610653994.6A CN107728775A (zh) 2016-08-10 2016-08-10 动作识别方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610653994.6A CN107728775A (zh) 2016-08-10 2016-08-10 动作识别方法及其装置

Publications (1)

Publication Number Publication Date
CN107728775A true CN107728775A (zh) 2018-02-23

Family

ID=61200191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610653994.6A Pending CN107728775A (zh) 2016-08-10 2016-08-10 动作识别方法及其装置

Country Status (1)

Country Link
CN (1) CN107728775A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110680337A (zh) * 2019-10-23 2020-01-14 无锡慧眼人工智能科技有限公司 一种识别动作种类的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713730A (zh) * 2012-09-29 2014-04-09 炬才微电子（深圳）有限公司 应用于智能终端的空中手势识别方法及装置
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713730A (zh) * 2012-09-29 2014-04-09 炬才微电子（深圳）有限公司 应用于智能终端的空中手势识别方法及装置
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110680337A (zh) * 2019-10-23 2020-01-14 无锡慧眼人工智能科技有限公司 一种识别动作种类的方法

Similar Documents

Publication Publication Date Title
CN109766872B (zh) 图像识别方法和装置
CN110245259A (zh) 基于知识图谱的视频打标签方法及装置、计算机可读介质
CN111582008B (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN108156166A (zh) 异常访问识别和接入控制方法及装置
CN107316322A (zh) 视频跟踪方法和装置、以及对象识别方法和装置
KR20010110416A (ko) 비디오 스트림 분류가능 심볼 고립 방법 및 시스템
CN111582009A (zh) 训练分类模型的装置和方法及利用分类模型分类的装置
CN111222471A (zh) 基于自监督域感知网络的零样本训练及相关分类方法
CN112116592B (zh) 图像检测方法、图像检测模型的训练方法、装置和介质
CN102201062A (zh) 信息处理设备、方法和程序
CN104462979A (zh) 一种应用程序的自动化动态检测方法及装置
CN106557521A (zh) 对象索引方法、对象搜索方法及对象索引系统
CN107851156A (zh) 分析方法、分析装置和分析程序
CN112597850B (zh) 一种身份识别方法及装置
CN104822009B (zh) 一种视频场景变换识别的方法及装置
CN104794446B (zh) 基于合成描述子的人体动作识别方法及系统
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
CN107527356B (zh) 一种基于懒交互方式的视频跟踪方法
CN104966109A (zh) 医疗化验单图像分类方法及装置
Rigaud et al. What do we expect from comic panel extraction?
CN108718307A (zh) 一种IaaS云环境下面向内部威胁的行为追溯检测方法
CN105975527A (zh) 道路上下行关系识别方法和装置
CN103473569A (zh) 基于svm的医学影像分类方法
KR102195850B1 (ko) 딥러닝 기반 혈관 구분 방법 및 시스템
CN107728775A (zh) 动作识别方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180223

WD01 Invention patent application deemed withdrawn after publication