CN103310467A

CN103310467A - 一种应用于便携式终端的运动分割及运动识别方法

Info

Publication number: CN103310467A
Application number: CN2013102792373A
Authority: CN
Inventors: 丛艳平; 魏志强; 殷波; 贾东宁; 盛艳秀; 吴娇娇
Original assignee: Ocean University of China
Current assignee: Ocean University of China
Priority date: 2013-07-04
Filing date: 2013-07-04
Publication date: 2013-09-18

Abstract

本发明提出了一种应用于便携式终端的运动分割及运动识别方法，其包括以下步骤：设定用户参数；根据用户设定的参数录制视频；将录制的视频进行视频运动分割；对分割好的视频进行视频运动识别；显示运动类型信息。本发明还提出了一种应用于便携式终端的运动分割及运动识别方法的装置。本发明的方法运算简单，计算时间短，能处理各种视频数据。

Description

一种应用于便携式终端的运动分割及运动识别方法

技术领域

本申请涉及人体运动识别领域，尤其涉及应用于便携式终端的运动分割及运动识别方法。

背景技术

随着生活水平的提高，人们对生活品质要求越来越高，不断的追求绿色、健康生活。但是，现实的情况却往往与人们的追求相差甚多，现代社会出现越来越多的糖尿病、高血压、肥胖等各种富贵疾病。然而，通过分析可以发现，引发这些疾病的原因主要是摄入的能量过多，而运动燃烧的能量太少，多入少出导致各种疾病的结果。目前国内外对这种富贵病的预防方面的研究有很多，而便携式终端为类似的研究提供了很大的支持与可能。

现代社会中，不仅仅是在“富贵病”的研究方面需要人的日常活动数据，在很多其他研究中，这种实时数据也是非常必须的。了解人体的生理活动，并知道其活动的类型，这在计算机视觉领域以及人体分析都有重大的意义。目前对于人体运动的识别研究存在有很多，其中比较突出的有以下几种：

1、通过摄像头摄取到人体的肢体运动，然后控制智能终端进行相应的反应，在这样的设备中通常都装有运动检测器；

2、数据的采取与数据的处理分开处理：数据交换的方式很多是拷贝方式，效率不高，且需要用户输入到电脑或手机，同时浪费了大量资源；

3、类似的便携式运动识别处理的方法会在设备中添加有很多硬件支持，如加速度计，陀螺仪，来使其具备识别各种传感器数据和动作的能力，以及运动识别的能力。

发明内容

基于现有技术存在的问题，本发明提出了一种应用于便携式终端的运动分割及运动识别方法，与现有技术相比，本发明提供的运动分割与运动识别方法改变以往便携式终端安装配备要求复杂的情况，当使用者佩戴在身上之后随使用者一起运动，在获取到一定的运动视频的情况下进行人体活动的分析与处理，能准确的分析人体的运动状态，对数据形式的要求极为简单，视频数据的获取与处理同时在一起进行处理，无需将数据导出之后再进行处理，方便快捷，用户可以实时的了解到自己的运动状态。因此，这种应用于便携式终端的运动分割及运动识别方法可以使用户与电子系统之间的交互变得更为的便捷和直观。

本发明提出了一种应用于便携式终端的运动分割及运动识别方法，其包括以下步骤：

步骤一、设定用户参数；

步骤二、根据用户设定的参数录制视频；

步骤三、将录制的视频进行视频运动分割；

步骤四、对分割好的视频进行视频运动识别；

步骤五、显示运动类型信息。

其中，步骤一所述用户参数包括：录制视频的时间或录制的时长。

其中所述步骤三包括：

3.1、从视频数据中分离出视频帧图像；

3.2、将分离出来的视频图像进行灰度的转换，并从灰度图像中读取到每一个像素点的亮度值，将图像的亮度值矩阵进行行积分，将积分值作为矩阵的行向量，图像的帧数作为矩阵的列向量；

3.3、从所述矩阵中选择第一行和第一列的平均值，并以此为圆心，R为半径，构造圆形函数；

3.4、依次沿着横向量向后进行查找，如果矩阵中的数据值落在上述圆形函数所确定的圆内则表示没有关键帧的出现；如果出现在圆外，则表示出现了关键帧，记录所有出现关键帧的点，然后将所有的关键点连接绘制曲线，查找不同运动的分割点。

其中，所述查找不同运动的分割点包括以下步骤：

a、寻找两窗口的相同的波形；

b、计算前后窗口傅立叶差值，并计算其绝对值；

c、将所述绝对值与一预设值进行比较，如果所述绝对值不超过预设值，则两窗口同时向前移动，则返回步骤a，如果所述绝对值超过域设置，则将前后窗口均缩小为原来的一半；

d、判断所述窗口是否最小，如果最小，则结束查找，如果不是最小，则返回步骤a。

其中，通过采用改进的菱形块匹配搜索的方式对已经分割好的运动视频进行运动识别。

其中，所述改进的菱形块匹配搜索的方式包括以下步骤：

4.1、对两个模板中的黑点进行搜索，找出最小块误差点MBP；

4.2、根据找到的MBP点的位置分情况进行处理；

4.3、如果该点位于中心则停止搜索，如果该点位于大模板的顶点处则搜索大模板中距离该点最近的两个点，所述大模板为具有九个点的模板，找到新的MBP，以新MBP点为中心使用大模板进行搜索，比较各点的匹配误差值SAD值得到新的MBP点，直到MBP点位于大模板的中心，转而使用小模板继续搜索新的MBP，直到该点为模板的中心时，停止搜索。

本发明还提出了一种应用于便携式终端的运动分割及运动识别方法的装置，其包括：

参数设定模块主要用于系统参数的设定，选择视频拍摄的时间或时长；

计时模块是当用户选择某段时间开启拍摄时，系统自动进行计时，等到相应的时间点之后就自动开启拍摄设备进行拍摄，或者当用户采用手动开启拍摄设备时，计时模块起到的作用是进行计时，时间是用户设定的时间间隔；

视频分割模块是将录制的视频数据进行不同运动的分割，以便进行后期的单独处理，记录该段视频中分割出的视频片段数，并以视频帧为单位进行记录；

运动识别模块是将视频分割模块分割出来的进行运动的识别，判别人体在该段时间内都做了何种运动，并按照时间的顺序进行记录。

其中，所述装置还包括：通信模块主要是进行各个模块之间的通信工作，并将前一步处理的数据结果传递到下一步的处理模块。

其中，所述装置还包括：存储模块用于存储用户设定的参数，供后期进行视频录制时的参考，以及存储程序处理后的结果信息，方便不同程序块之间的通信以及显示给用户的信息存储。

其中，所述装置还包括：显示模块是将所述运动识别模块的输出按照时间的顺序进行显示，并详细显示某运动的时间长度。

本发明具有如下优点：

(1)方法运算简单，计算时间短；

(2)设备简单，无需配置复杂的辅助装置；

(3)集视频数据的获取和处理于一体，无需进行数据的拷贝，方便快捷；

(4)能处理各种视频数据，视频中有无参考主体都可。

附图说明

图1为与本发明实施例一致的应用于便携式终端的运动分割及运动识别方法的整体流程框图；

图2为与本发明实施例一致的视频分割与运动识别框图；

图3为与本发明实施例一致的查找不同运动的分割点的窗口布局图；

图4为与本发明实施例一致的视频运动分割流程图；

图5为与本发明实施例一致的搜索模版示意图。

图6为与本发明实施例一致的应用于便携式终端的运动分割及运动识别方法的装置原理图。

具体实施例

如图1所示为与本发明实施例一致的应用于便携式终端的运动分割及运动识别方法的整体流程框图。所述方法包括以下步骤：

步骤一、设定用户参数。

用户参数的设定由用户执行，用于设定录制视频的时间，以便程序自动进行计时并录制对应时间的视频，然后对该时间段的视频进行运动视频的分割和运动的识别。还可以设定录制视频的时长，当没有设定录制的时长时，需要用户手动按下录制视频的按钮，按照需要设定时长，默认的是录制12小时，并且将每一个小时的视频当作一个单位进行处理。

步骤二、根据用户设定的参数录制视频。

步骤三、将录制的视频进行视频运动分割。

首先从视频数据中分离出视频帧图像，然后将分离出来的视频图像进行灰度的转换，并从灰度图像中读取到每一个像素点的亮度值，将图像的亮度值矩阵进行行积分，将积分值作为矩阵的行向量，图像的帧数作为矩阵的列向量。

从矩阵中选择第一行和第一列的平均值，并以此为圆心，R为半径，构造圆形函数如下：

(x-x′)²+(y-y′)²＝R²

依次沿着横向量向后进行查找，如果矩阵中的数据值落在上述方程所确定的圆内，则表示没有关键帧的出现；如果出现在圆外，则表示出现了关键帧，记录所有出现关键帧的点，然后将所有的关键点连接绘制曲线，采用图3的窗口布局按照图4的流程图进行查找不同运动的分割点：

a、寻找两窗口的相同的波形；b、计算前后窗口傅立叶差值，并计算其绝对值；c、将所述绝对值与一预设值进行比较，如果所述绝对值不超过预设值，则两窗口同时向前移动，则返回步骤a，如果所述绝对值超过域设置，则将前后窗口均缩小为原来的一半；d、判断所述窗口是否最小，如果最小，则结束查找，如果不是最小，则返回步骤a。

通过视频分割得到不同时间段中所做的运动类型，记录各部分的时间间隔，并进行存储，以便之后进一步进行运动的识别。

步骤四、对分割好的视频进行视频运动识别。

采用改进的菱形块匹配搜索的方式查找已经分割好的运动视频的运动向量，其搜索的模板如图5所示。

首先，对这两个模板中的黑点进行搜索，找出最小块误差点MBP。然后根据找到的MBP点的位置分情况进行处理。如果该点位于中心则停止搜索，如果该点位于大模板的顶点处则搜索大模板（九个点）中距离该点最近的两个点，找到新的MBP，以新MBP点为中心使用大模板进行搜索，比较各点的匹配误差值SAD(Sum of Absolute Difference)值得到新的MBP点，直到MBP点位于大模板的中心，转而成使用小模板继续搜索新的MBP，直到该点为模板的中心时，停止搜索。最终的MBP点即为最佳匹配点，从而可以得到该块的运动矢量。

步骤五、显示运动类型信息。

得到视频的运动矢量之后通过实验之前已经训练好的分类器进行运动的识别，并按照时间段进行记录、存储，以便显示给用户。

与本发明的便携式终端运动分割及运动识别方法相对应，本发明还提出该方法相对应的装置。应用于便携式终端的运动分割及运动识别方法所用的装置包括参数设定模块、计时模块、视频分割模块、运动识别模块、显示模块、通信模块。

(1)参数设定模块主要用于系统参数的设定，选择视频拍摄的时间或时长。

(2)存储模块用于存储用户设定的参数，供后期进行视频录制时的参考，以及存储程序处理后的结果信息，方便不同程序块之间的通信以及显示给用户的信息存储。

(3)计时模块是当用户选择某段时间开启拍摄时，系统自动进行计时，等到相应的时间点之后就自动开启拍摄设备进行拍摄；当用户采用手动开启拍摄设备时，计时模块起到的作用是进行计时，时间是用户设定的时间间隔。如果用户没有指定拍摄的时间长度，则默认是12小时，并将该段视频按照一个小时一个片段来进行处理。

(4)通信模块主要是进行各个模块之间的通信工作，并将前一步处理的数据结果传递到下一步的处理模块。

(5)视频分割模块是将录制的视频数据进行不同运动的分割，以便进行后期的单独处理，记录该段视频中分割出的视频片段数，并以视频帧为单位进行记录。

(6)运动识别模块是将视频分割模块分割出来的进行运动的识别，判别人体在该段时间内都做了何种运动，并按照时间的顺序进行记录。

(7)显示模块是将上述的处理结果进行显示，将结果按照时间的顺序显示，并详细显示某运动的时间长度。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干可以预期的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种应用于便携式终端的运动分割及运动识别方法，其包括以下步骤：

步骤一、设定用户参数；

步骤二、根据用户设定的参数录制视频；

步骤三、将录制的视频进行视频运动分割；

步骤四、对分割好的视频进行视频运动识别；

步骤五、显示运动类型信息。

2.如权利要求1所述应用于便携式终端的运动分割及运动识别方法，其中步骤一所述用户参数包括：录制视频的时间或录制的时长。

3.如权利要求1所述应用于便携式终端的运动分割及运动识别方法，其中所述步骤三包括：

3.1、从视频数据中分离出视频帧图像；

4.如权利要求3所述应用于便携式终端的运动分割及运动识别方法，其中所述查找不同运动的分割点包括以下步骤：

a、寻找两窗口的相同的波形；

b、计算前后窗口傅立叶差值，并计算其绝对值；

5.如权利要求1所述应用于便携式终端的运动分割及运动识别方法，其中是通过采用改进的菱形块匹配搜索的方式对已经分割好的运动视频进行运动识别。

6.如权利要求5所述应用于便携式终端的运动分割及运动识别方法，其中所述改进的菱形块匹配搜索的方式包括以下步骤：

4.1、对两个模板中的黑点进行搜索，找出最小块误差点MBP；

4.2、根据找到的MBP点的位置分情况进行处理；

7.一种应用于便携式终端的运动分割及运动识别方法的装置，其包括：

8.如权利要求7所述应用于便携式终端的运动分割及运动识别方法的装置，其还包括：通信模块主要是进行各个模块之间的通信工作，并将前一步处理的数据结果传递到下一步的处理模块。

9.如权利要求7所述应用于便携式终端的运动分割及运动识别方法的装置，其还包括：存储模块用于存储用户设定的参数，供后期进行视频录制时的参考，以及存储程序处理后的结果信息，方便不同程序块之间的通信以及显示给用户的信息存储。

10.如权利要求7所述应用于便携式终端的运动分割及运动识别方法的装置，其还包括：显示模块是将所述运动识别模块的输出按照时间的顺序进行显示，并详细显示某运动的时间长度。