CN113987285B

CN113987285B - 基于隐藏状态的运动特征数据库生成方法、检索方法

Info

Publication number: CN113987285B
Application number: CN202111614468.6A
Authority: CN
Inventors: 黄天羽; 肖达; 李弋豪; 唐明湘; 李鹏; 丁刚毅
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2022-04-26
Anticipated expiration: 2041-12-27
Also published as: CN113987285A

Abstract

本发明涉及一种基于隐藏状态的运动特征数据库生成方法，包括以下步骤：获取用户在不同运动状态下的多个运动训练数据集；选取人体骨骼关键关节点或肢体段，计算在其父关节点局部坐标系中绕每个坐标轴的旋转角度，计算得到所处子空间位置，并进行编码，转换成对应的姿态基；从每个时间点的运动训练数据中提取用于表示运动特征语义信息的隐藏状态，并进行编码；将数据集存储到数据库的同时，存储每个时间点对应的姿态基编码以及隐藏状态编码。本发明将人体姿态几何特征转换为多层次的数字编码，在实现基于内容的精准运动数据检索的同时，提高了检索的效率。

Description

基于隐藏状态的运动特征数据库生成方法、检索方法

技术领域

本发明涉及一种数据库生成方法、检索方法，特别涉及一种基于隐藏状态的运动特征数据库生成方法、检索方法及终端。

背景技术

随着运动捕获技术的兴起，以及各类光学、机械等动作捕捉设备的进步，现在人们已经能够快速获取大量人体动作三维数据文件。由于人体动作三维数据文件能够较为精准的记录下实验者各时间段内的全部运动轨迹，通过分析动作捕获所得的数据便可得到人体运动的详尽细节，极大的提高了动作数据相关工作获取的便利性及数据的可靠性。运动数据的复用和大规模运动数据库的建立为运动捕捉技术提供了一种更为省时而经济的方案，同时，也对运动数据库的组织和搜索技术提出了更高的要求。

运动数据库的组织和搜索技术是实现运动捕捉数据复用的一项关键技术。人体动作序列是一种典型的高维时间序列，对于高维信息的处理，如果采用常规方法进行检索将耗费大量的运行时间和内存空间，而且很难基于检索内容精准的检索到所需的数据。因此，选取合适的特征表示方法使得检索速度和检索质量都可以接受显得非常重要。现有对运动数据库的检索主要是通过提取出几何特征并计算欧氏距离来实现的，其目的是为了实现对运动数据库内容的检索，但是对复杂几何特征及欧式距离的计算使得数据库检索时需要耗费大量的运行时间，无法满足实时的需求。

刘云根等在论文《基于人体姿态编码的运动数据检索》（计算机辅助设计与图形学学报，第23卷，第4期，第586-593页）提出了一种人体姿态的编码方式，中国专利申请201910799488.1《基于姿态基的运动特征数据库生成方法、检索方法及终端》提出了一种根据人体姿态基编码方式生成数据库以及进行检索的方法。使用姿态基编码方式，与传统使用复杂几何特征及欧式距离的计算相比，可以加快检索时间。但是姿态基涉及到的编码数量巨大，以选取人体10个关键关节点，对每个关键关节点的三个方向分别进行0、1、2编码为例，动作可能产生的姿态基数量达到10¹⁴的数量级。因此，对相同或者相近姿态基的检索，特别是对相同或者相近的姿态基序列的检索仍然面临数据量大，效率低的问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于隐藏状态的运动特征数据库生成方法、检索方法及终端，将人体姿态几何特征转换为多层次的数字编码，在实现基于内容的精准运动数据检索的同时，可以提高检索的效率。

为达到上述目的，本发明提供了一种基于隐藏状态的运动特征数据库生成方法，包括以下步骤：

获取用户在不同运动状态下的多个运动训练数据集，其中，每个所述运动训练数据集包括多个训练采集时间点和与每个训练采集时间点对应的运动训练数据；

基于所述运动训练数据集获取每个训练采集时间点对应的姿态，选取人体骨骼关键关节点或肢体段，计算在其父关节点局部坐标系中绕每个坐标轴的旋转角度，计算得到所处子空间位置，并进行编码，转换成对应的姿态基；

从每个时间点的运动训练数据中提取用于表示运动特征语义信息的隐藏状态，并进行编码；

将数据集存储到数据库的同时，存储每个时间点对应的姿态基编码以及隐藏状态编码。

根据本发明实施例所述的一种具体实现方式，表示运动特征语义信息的隐藏状态使用8个二进制位，分别表示人体是否垂直于水平面、左右大臂是否位于肩关节前部、左右大腿是否位于髋关节前部、竖直平面内是否有位移、水平面内是否有位移、是否有前驱或后仰动作。

根据本发明实施例所述的一种具体实现方式，在得到姿态基编码之后，将每个关键关节点或肢体段在其父关节点局部坐标系中的旋转角度与前一个时间点的旋转角度进行比较，得到表示姿态变化趋势的姿态变化基，并进行编码；将姿态变化基编码与姿态基编码以及隐藏状态编码一起存储到数据库中。

根据本发明实施例所述的一种具体实现方式，分别根据姿态基编码、姿态变化基编码以及隐藏状态编码建立索引树。

本发明还提供了一种基于隐藏状态的动作检索方法，包括以下步骤：

获取用户的运动数据集，其中，所述运动数据集包括多个采集时间点及每个采集时间点对应的运动数据；

基于所述运动数据集获取每个采集时间点对应的姿态，得到该时间点对应的姿态基编码以及隐藏状态编码；

在按照前述方法生成的运动特征数据库中检索隐藏状态编码相同或相近的数据，在检索结果中进一步检索姿态基编码相同或相近的数据。

基于所述运动数据集获取每个采集时间点对应的姿态，得到该时间点对应的姿态基编码、姿态变化基编码以及隐藏状态编码；

在进行包含多个连续时间点的姿态序列检索时，在按照前述方法生成的运动特征数据库中，首先检索隐藏状态编码序列和姿态变化基编码序列相同或相近的数据，然后在检索结果中进一步检索姿态基编码序列相同或相近的数据。

另一方面，本发明还提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行前述的运动特征数据库的生成方法。

另一方面，本发明还提供了一种终端，包括处理器、输入设备、输出设备和存储器，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行前述的动作检索方法。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行前述的运动特征数据库的生成方法。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行前述的动作检索方法。

有益效果

本发明提出的基于隐藏状态的运动特征数据库生成方法、动作检索方法及终端，将人体姿态几何特征转换为人体骨骼关键关节点的数字编码，并提取动作的隐藏状态特征，将人体姿态几何特征转换为多层次的数字编码，在实现基于内容的精准运动数据检索的同时，提高了检索的效率。

附图说明

图1为运动特征数据库生成方法的流程图；

图2为以Hips关节为根节点的人体骨骼层次模型。

图3为实施例1选取的关键关节点和肢体段示意图。

图4为人体运动基本平面和基本轴示意图。

图5为关节点子空间划分示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

传统的惯性运动捕捉设备采集人体运动数据，这些数据通常包括多个时间点，每个时间点对应一帧，每一帧记录的是人体每个关节点的运动数据，例如位移、旋转角信息。关节点之间存在父子节点关系，例如图2展示了以Hips为根节点的人体骨骼层次模型。通过节点间的父子关系和每一帧的数据，可以计算得到毎一帧每个关节点在世界坐标系下的位置，也即可以得到每一帧对应的人体姿态。

运动数据库的组织和搜索技术是实现运动捕捉数据复用的一项关键技术。现有技术中，为了实现对运动数据库内容的检索，通常都是通过提取出几何特征并计算欧氏距离来实现的。每次检索时，都需要计算所需检索的动作与数据库中每一帧的欧式距离，使得检索效率不高。

中国专利申请201910799488.1《基于姿态基的运动特征数据库生成方法、检索方法及终端》提出了一种根据人体姿态基编码方式生成数据库以及进行检索的方法。但是动作可能涉及到的姿态基编码数量十分庞大，导致针对姿态基进行检索的效率不高。

本发明的思想是提供一种运动特征数据库生成方法及动作检索方法，在人体姿态基数字编码的基础上，抽象出隐藏状态编码。隐藏状态编码用于表示运动特征语义信息，是对姿态基编码的抽象，不同的姿态基编码有可能对应同样的隐藏状态编码。隐藏状态编码可以用于对运动和姿态进行粗粒度的分类。在实现基于内容的精准运动数据检索的同时，可以提高检索的效率。

实施例1提供了一种基于隐藏状态的运动特征数据库生成方法，包括以下步骤：

实施例1根据人体姿态的运动特点选取了人体骨骼架构模型中的12个关节点共构成了9个肢体段，如图3所示。图中的实心黑点为选取的12个关键关节点，12个关节点之间用虚线表示的9个肢体段是实施例1选取的表示人体姿态的关键肢体段，分别为左右大臂、小臂、大腿、小腿和躯干。节点之间存在着父子关系。

实施例1中，以各人体骨骼关键关节点为原点，为它们建立独立的局部坐标系。肢体段绕关节点运动，其最大运动范围从理论上来说可以构成一个以该关节点为圆心的球体。将该球体空间划分成多个子空间，每个子空间用一个数字编码表示，则记录该子关节点或肢体段所处的子空间，就可以表示该子关节点或肢体段的位置及姿态。所有关键关节点的编码组合，就可以表示人体的姿态，我们将这种编码组合称为姿态基。

在人体运动数据处理时，通常可以将人体的基本平面定义为水平面、额状面、矢状面三个平面，如图4所示，其中水平面为直立状态下横切身体与地面平行的切面，将身体分为上、下两部分；额状面为以身体左右径为切线所作的纵切面，将人体分为前、后两部分；矢状面为以身体前后径为切线所作的纵切面，将人体分为左、右两部分；将人体的基本轴定义为额状轴、垂直轴、矢状轴，其中额状轴为X轴，垂直于矢状面，方向为左右朝向，是额状面与水平面的交线；垂直轴为Y轴，垂直于水平面，方向为上下朝向，是额状面与矢状面的交线；矢状轴为Z轴，垂直于额状面，方向为前后朝向，是矢状面与水平面的交线。

附图5是实施例1子空间划分的示意图。实施例1将父关节点局部坐标系的空间按照绕X轴、绕Y轴、绕Z轴旋转的角度进行划分，如图5所示。

在实际运动中，肢体段运动的自由度往往是受到限制的，因此其最大运动范围并不是一个球体。例如小腿绕膝关节有且只有一个绕X轴旋转的自由度，其最大旋转范围为180°。实施例1在进行姿态基编码时，对于每个肢体段只考虑其实际运动范围所构成的空间。

如果肢体段只有绕X轴旋转的自由度，根据肢体段绕X 旋转的角度可以将该运动范围划分为3个子空间，分别用数字0、1、2表示，对应的角度范围为0-60度，60-120度，120-180度，如图5的侧视图a所示。如果肢体段绕X轴和Z轴的旋转自由度均为0-180度，则根据肢体段绕X 旋转的角度和绕Z轴旋转的角度可以将该运动范围划分为9个子空间，分别用数字00、01、02、10、11、12、20、21、22表示，第一位数字编码对应绕X轴旋转的角度，第二位数字编码对应绕Z轴旋转的角度，如图5顶视图b所示。

如图5所示，为了提高查全率，实施例1在划分相邻子空间时，使得每个相邻子空间的边界具有大小为δ的重叠区域，即加大了每个子空间的角度范围。由于重叠区内的人体骨骼关节点具有两个不同编码，这会使同一帧数据能由多个姿态基编码表示，故在一定编码范围内都能检索到该动作，在动作检索时能够使查全率得到提升。

将几何特征转换为数字编码可以极大的提高数据库检索的效率。但是姿态基涉及到的编码数量巨大，以选取人体10个关键关节点，对每个关键关节点的三个方向分别进行0、1、2编码为例，动作可能产生的姿态基数量达到3³⁰约为10¹⁴的数量级。因此实施例1在姿态基编码的基础上，从每个时间点的运动训练数据中提取用于表示运动特征语义信息的隐藏状态，并进行编码。隐藏状态编码可以根据动作姿态的语义信息对姿态进行粗粒度的分类，大大加快搜索算法的执行效率。

根据本发明实施例所述的一种具体实现方式，表示运动特征语义信息的隐藏状态使用8个二进制位，分别表示人体是否垂直于水平面、左右大臂是否位于肩关节前部、左右大腿是否位于髋关节前部、竖直平面内是否有位移、水平面内是否有位移、是否有前驱或后仰动作。使用该隐藏状态编码，将姿态根据语义信息划分为256种隐藏状态，一种隐藏状态对应多种姿态基。在通过隐藏状态进行初步分类的基础上，可以大大加快搜索算法的执行效率。

如图1所示，实施例2在实施例1的基础上，在得到姿态基编码之后，将每个关键关节点或肢体段在其父关节点局部坐标系中的旋转角度与前一个时间点的旋转角度进行比较，得到表示姿态变化趋势的姿态变化基，并进行编码；将姿态变化基编码与姿态基编码以及隐藏状态编码一起存储到数据库中。

实施例1在姿态基编码的基础上，进一步提取了隐藏状态编码。但是隐藏状态编码只有256种，与姿态基的数量差别巨大，一种隐藏状态可能对应成千上万种姿态基。而且姿态基是根据关键关节点或肢体段在其父关节点局部坐标系中的子空间位置进行编码，例如绕某个坐标轴旋转0-60度编码为0，旋转60-120度编码为1，120-180度编码为2。按照这种方式，姿态基编码无法体现60度范围之内的变化，因此使用姿态基编码会造成部分姿态信息的缺失。因此实施例2在隐藏状态层和姿态基层之间增加姿态基变化层，记录每两个时间点之间的姿态变化趋势，可以使用0、1编码，分别对应每个旋转角角度的增加和减少。姿态变化基在姿态基编码的基础上，记录了更多的姿态信息。另外，增加姿态变化基之后，构成了姿态基、姿态变化基、隐藏状态三层结构，对应不同的分类粒度。由于动作往往是由连续的姿态序列构成的，在对姿态基序列进行检索时，使用隐藏状态编码序列检索会使得分类粒度过粗，误检率过高。可以将对姿态基编码序列的检索转换为对隐藏状态编码序列+姿态变化基编码序列的检索，可以得到相对合理的检索结果。

根据本发明实施例所述的一种具体实现方式，分别根据姿态基编码、姿态变化基编码以及隐藏状态编码建立索引树。建立索引树可以提高检索效率。

上述检索方法使用隐藏状态编码进行初步检索，从而提高了对具体姿态检索的效率。

上述检索方法使用隐藏状态编码序列和姿态变化基编码序列进行初步检索，从而提高了对姿态序列检索的效率。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入本发明权利要求所限定的范围之内。

Claims

1.一种基于隐藏状态的运动特征数据库生成方法，其特征在于，包括以下步骤：

将数据集存储到数据库的同时，存储每个时间点对应的姿态基编码以及隐藏状态编码；

其中，表示运动特征语义信息的隐藏状态使用8个二进制位，分别表示人体是否垂直于水平面、左右大臂是否位于肩关节前部、左右大腿是否位于髋关节前部、竖直平面内是否有位移、水平面内是否有位移、是否有前驱或后仰动作。

2.基于权利要求1所述的基于隐藏状态的运动特征数据库生成方法，其特征在于，在得到姿态基编码之后，将每个关键关节点或肢体段在其父关节点局部坐标系中的旋转角度与前一个时间点的旋转角度进行比较，得到表示姿态变化趋势的姿态变化基，并进行编码；将姿态变化基编码与姿态基编码以及隐藏状态编码一起存储到数据库中。

3.基于权利要求2所述的基于隐藏状态的运动特征数据库生成方法，其特征在于，分别根据姿态基编码、姿态变化基编码以及隐藏状态编码建立索引树。

4.一种基于隐藏状态的动作检索方法，其特征在于，包括以下步骤：

在按照权利要求1-3任一项方法生成的运动特征数据库中检索隐藏状态编码相同或相近的数据，在检索结果中进一步检索姿态基编码相同或相近的数据。

5.一种基于隐藏状态的动作检索方法，其特征在于，包括以下步骤：

在进行包含多个连续时间点的姿态序列检索时，在按照权利要求2或3方法生成的运动特征数据库中，首先检索隐藏状态编码序列和姿态变化基编码序列相同或相近的数据，然后在检索结果中进一步检索姿态基编码序列相同或相近的数据。

6.一种终端，包括处理器、输入设备、输出设备和存储器，其特征在于，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行如权利要求1-3任一项所述的运动特征数据库的生成方法。

7.一种终端，包括处理器、输入设备、输出设备和存储器，其特征在于，所述存储器用于存储程序代码，所述处理器被配置用于运行所述程序代码，执行如权利要求4-5任一项所述的动作检索方法。

8.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-3任一项所述的运动特征数据库的生成方法。

9.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求4-5任一项所述的动作检索方法。