CN111460960A

CN111460960A - 一种运动分类及计数方法

Info

Publication number: CN111460960A
Application number: CN202010227526.9A
Authority: CN
Inventors: 田文龙; 利节
Original assignee: Chongqing Dianzheng Information Technology Co ltd
Current assignee: Chongqing Dianzheng Information Technology Co ltd
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2020-07-28

Abstract

本发明公开了一种运动分类及计数方法，其特征在于，包括：首先对不同人的各种运动进行数据采集，对不同的运动分别标记；然后对拍摄的视频流的时序帧骨架信息构建骨架图，然后利用构造的时序模型和空间模型对构建的骨架图进行卷积操作，并通过事先采集的数据比对进行特征分类从而识别出不同的运动类型；然后对运动量进行统计。本发明的优点在于：该方法不会限制人体运动类型，在人体做动作过程中也不会有束缚和不适感结构简单，精度高，成本低，体积小，功耗低，使用方便，在众多领域具有广泛应用，具有较强的实用价值和应用前景。

Description

一种运动分类及计数方法

技术领域

本发明涉及人体运动分类及计数方法，属于人体运动感知获取技术领域。

背景技术

当前，通过对人体的姿态和运动信息的准确获取和分析，能够根据步态的变化推断可能存在的疾病；能够根据运动员的起跳和击球时身体和四肢的轨迹分析问题的所在，从而改进训练；能够准确地跟踪姿态和运动，理解肢体语言，建立高水平的游戏和模拟训练的人机交互，为数字电影、虚拟世界构建栩栩如生的角色。但是由于人体运动的随意性和复杂性，以及人体所在的周围环境的多样性，给实时准确人体运动感知获取技术带来了巨大的挑战。因此，目前急需一种能够不受时空限制和外界环境干扰的人体运动感知和合成技术，实现人体姿态和运动自由式获取和重现，为健康监测、康复训练、舞蹈训练、体育运动分析、电影数字特技、虚拟现实、游戏和人机交互等领域的应用提供技术。

常见的基于深度数据的人体运动捕获系统是微软的Kinect，其基本原理是基于运动捕获数据库中事先训练好的随机决策森林从在线捕获的深度数据中自动识别三维人体运动姿态。然而这种方法受到深度数据噪声、随机决策森林泛化能力，以及人体运动中肢体遮挡等因素的影响，重建的三维人体运动姿态并不理想。另一类型的人体运动捕获方法是基于数据驱动的方法，但这样的方法在运动对象身材尺寸与数据库中标准尺寸的人体模型相差较大时，重建的三维人体运动姿态也并不理想。在行为识别上，不同的运动类型在外观和运动模型上都呈现出非常大的不同。目前，卷积神经网络是当前语音分析和图像识别领域的研究热点，而传统的卷积神经网络是为了识别二维形状而设计的多层感知器，无法对三维的运动图像进行多层感知，无法满足现在的要求。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的人体运动分类及计数方法，针对运动过程中不同的运动操作进行计数，达到运动量统计的目的。其中，涉及到的运动种类包括了所有手部、腿部运动。该方法有三步：数据采集与标记、运动类型识别、运动量统计。

本发明的目的通过以下技术方案实现：

一种新的人体运动分类及计数方法，包括以下步骤：

步骤一、数据采集与标记；

步骤二、运动类型识别；

步骤三、运动量统计。

进一步，为保障方法的鲁棒性，将所述步骤一中的数据采集设置为对不同人的各种运动进行数据采集，数据标记设置为对不同的运动分别标记。其中，标记信息包括了视频名称、动作起始时刻、动作结束时刻和动作类型。

进一步，所述步骤二中的运动类型识别则是对针摄像机拍摄的视频流里不同的运动类型进行准确识别，其包括以下步骤：

1)获取人的骨架信息

通过摄像机拍摄一系列的时序帧信息，其中每一帧包含人体骨架关键节点的二维坐标点信息或者三维坐标点信息和自信度N＝[n_x,n_y,n_d]，其中，(n_x,n_y)为骨架节点空间坐标，n_d为骨架检测时候的自信度)；

2)构建骨架图

通过视频读取的信息构建一个时空骨架图G＝(N，L)，其中帧数为K帧，骨骼关键节点数为S个。该时空图由节点(N)集合和连接关系(L)集合组成。节点就是自然人的关键节点集合，节点集合可以表示为N＝{N_ks|k＝1,…,K；s＝1,…,S}。连接关系集合有两种类型，一种连接关系集合是同一帧内骨架节点的自然连接,该连接关系可以表示为L_c＝{N_kiN_kj|(i,j)∈S}，另一个连接关系集合是连续帧上同一节点的连接，该连接关系可以表示为L_e＝{N_kiN_(k+1)i}；

3)建立空间模型的卷积网络

在时间为T₁的单帧信息中，存在S个骨架关键节点N_i，骨架内的边为

该单帧信息可以视为二维图像，用一个p²的卷积核，输入的图像是f_in，通道数为m。单个通道在位置x的输出为：

为了将卷积操作应用于图像，对采样函数进行了修改，其中，采样函数中的p(h,w)本来是中心像素点 x附近领域内的像素集合，现在定义N_ki邻域的采样函数为P(N_ki)＝{N_kj|d(N_kj,N_ki)≥D}，这里的d(N_kj,N_ki) 指的是两骨架关键节点的欧式距离，修改后的图像卷积操作为：

4)建立时序模型

在构建骨架图的时候我们利用连续帧相同骨架关键节点建立了连接，使得可以利用空间模型卷积网络的方法得到时序模型中的卷积操作。类比空间节点邻域的定义，时间连接节点的邻域定义如下：

P(N_ki)＝{N_qj|d(N_qj,N_ki)≤D,|q-t|≤τ/2}

将构建好的时空图进行图卷积操作，将获得一个序列帧的骨架特征信息；

5)特征分类

利用分类器SVM对提取的特征进行分类。SVM是一个二分类器，把某一个样本单独设置为一个类别，其他样本归为另一个类别。要对n个类别的动作进行分类，需要训练n个SVM分类器。将动作与运动类型对应，输出视频段的运动类型y＝[y1,y2,y3,y4,y5,y6,…,yn]，其中当分类为第i类动作时，yi＝i。

进一步，所述步骤三中的运动量统计结果在运动量统计矩阵Y＝∑y_t，y_t是第t段视频的运动类型识别结果。

与现有技术相比，本发明的优点在于：

对拍摄的视频流的时序帧骨架信息构建骨架图，然后利用构造的时序模型和空间模型对构建的骨架图进行卷积操作，并进行特征分类从而识别出不同的运动类型，进而对运动量进行统计。该方法操作简单，不会限制人体运动类型，在人体做动作过程中也不会有束缚和不适感。

本发明的有益效果：本发明采用并联的操作系统模块和并联的并行计算单元实现了物联网平台前端跨操作系统的低功耗并行异构边缘计算，满足计算需求的同时，可灵活部署于缺少网络、供电等环境下，实现了去中心化、多接口等功能，节省了数据的传输时间和成本，降低数据延迟，增强数据安全。

附图说明

图1为根据本发明一个实施例的运动类型识别框架图；

图2为根据本发明一个实施例的骨骼关键节点图。

具体实施方式

本发明公开了一种新的人体运动分类及计数方法，包括以下步骤：

步骤一、数据采集与标记；

步骤二、运动类型识别；

步骤三、运动量统计。

进一步，所述步骤二中的运动类型识别则是对针摄像机拍摄的视频流里不同的运动类型进行准确识别，其框架图见图1。其包括以下步骤：

1)获取人的骨架信息

通过摄像机拍摄一系列的时序帧信息，其中每一帧包含人体骨架关键节点的二维坐标点信息或者三维坐标点信息和自信度N＝[n_x,n_y,n_d]，其中，(n_x,n_y)为骨架节点空间坐标，n_d为骨架检测时候的自信度，其中，骨架关键节点可根据人体的关节自由选择，如图2所示为全部关节图；

2)构建骨架图

3)建立空间模型的卷积网络

4)建立时序模型

P(N_ki)＝{N_qj|d(N_qj,N_ki)≤D,|q-t|≤τ/2}

5)特征分类

利用分类器SVM对提取的特征进行分类。SVM是一个二分类器，把某一个样本单独设置为一个类别，其他样本归为另一个类别。要对n个类别的动作进行分类，需要训练n个SVM分类器。将动作与运动类型对应，输出视频段的运动类型y＝[y₁,y₂,y₃,y₄,y₅,y₆,…,y_n]，其中当分类为第i类动作时，y_i＝i。

将上述方法与其他方法进行比对，用于高尔夫球与动员动作打分，得到的实验结果如表1所示。由表 1可知，新方法的精度最好，召回率最高，打分最高，可见识别最高。

表1

方法名称	精度(precise)	召回率(recall)	F1 score
				Proposed approach	0.8932	0.8654	0.8790
Indrnn	0.8547	0.8476	0.8511
				Yolo v3	0.6473	0.5874	0.6159
Master fast-rcnn	0.6985	0.7021	0.7002

本发明不限于上述实施例，对于本领域技术人员来说，对本发明的上述实施例所做出的任何改进或变更都不会超出仅以举例的方式示出的本发明的实施例和所附权利要求的保护范围，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

Claims

1.一种运动分类及计数方法，该方法包括:

步骤1，对运动的数据采集与数据标记；

步骤2，运动类型识别，即对针摄像机拍摄的视频流里不同的运动类型进行准确识别：具体包括获取人的骨架信息、构建骨架图、建立空间模型的卷积网络、建立时序模型、特征分类；

步骤3、根据所述步骤2的识别结果对运动量进行统计。

2.根据权利要求1所述的方法，所述步骤1的数据采集设置为对不同人的各种运动进行数据采集，数据标记设置为对不同的运动分别标记。

3.根据权利要求2所述的方法，所述数据标记的标记信息包括了视频名称、动作起始时刻、动作结束时刻和动作类型。

4.根据权利要求1所述的方法，所述步骤2的获取人的骨架信息即是通过摄像机拍摄一系列的时序帧信息，其中每一帧包含人体骨架关键节点的坐标点信息和自信度N。

5.根据权利要求4所述的方法，所述步骤2的构建骨架图即是通过视频读取的骨架信息构建一个时空骨架图G＝(N，L)，N为节点集合，L为节点连接关系，其中帧数为K帧，骨骼关键节点数为S个；节点集合可以表示为N＝{N_ks|k＝1,…,K；s＝1,…,S}；连接关系有两种，一种是同一帧内骨架节点的自然连接,该连接关系可以表示为L_c＝{N_kiN_kj|(i,j)∈S}，另一种是连续帧上同一节点的连接，该连接关系可以表示为L_e＝{N_kiN_(k+1)i}。

6.根据权利要求5所述的方法，所述步骤2的建立空间模型的卷积网络即是在时间为T₁的单帧信息中，存在S个骨架关键节点N_i，骨架内的边为

该单帧信息可以视为二维图像，用一个p²的卷积核，输入的图像是f_in，通道数为m，采样函数中的p(h,w)是中心像素点x附近领域内的像素集合，N_ki邻域的采样函数为P(N_ki)＝{N_kj|d(N_kj,N_ki)≥D}，d(N_kj,N_ki)指的是两骨架关键节点的欧式距离，单个通道在位置x的输出为：

7.根据权利要求1所述的方法，所述步骤2的建立时序模型的时间连接节点的邻域定义如下：

将构建好的时空图进行图卷积操作，将获得一个序列帧的骨架特征信息。

8.根据权利要求1所述的方法，所述步骤2的特征分类即是利用分类器对提取的特征进行分类，每一个类别的动作的分类需要对应的分类器，输出视频段的运动类型y＝[y₁,y₂,y₃,y₄,y₅,y₆,…,y_n]，其中当分类为第i类动作时，y_i＝i。

9.根据权利要求1所述的方法，所述步骤3的运动量统计结果在运动量统计矩阵Y＝∑y_t，y_t是第t段视频的运动类型识别结果。