CN106228143A

CN106228143A - 一种教学视频与摄像头视频运动对比评分的方法

Info

Publication number: CN106228143A
Application number: CN201610624206.0A
Authority: CN
Inventors: 王国兴
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-08-02
Filing date: 2016-08-02
Publication date: 2016-12-14

Abstract

本发明公开了一种教学视频与摄像头视频运动对比评分的方法，包括如下步骤：播放教学视频，通过摄像头实时获取摄像头视频；获取运动判定区域；对运动判定区域进行二值化处理，通过归一化数值表示各个元素点的前后运动强度；设置阈值，把教学视频、摄像头视频的运动强度图像转换为对应的运动标准化矩阵；将教学视频、摄像头视频的运动标准化矩阵做XOR运算，得到运动相差矩阵，把运动相差矩阵做累加计算得到教学视频、摄像头视频中运动相似性数值；把相差矩阵做累加计算得到的运动相似性数值做归一化处理，反映运动差别。本发明能够对两个视频的动作做互相匹配对比，识别两个视频的相似性；具备操作简单，设备要求低，普适性高的特点。

Description

一种教学视频与摄像头视频运动对比评分的方法

技术领域

本发明涉及运动视频处理领域，具体涉及一种教学视频与摄像头视频运动对比评分的方法。

背景技术

随着大众生活水平的提高，越来越多的人开始关注身体健康，健身运动逐渐成为时尚。但是中国人口众多，人均健身运动的设备和场地无法满足日益增强的需求。另外各种灾难性天气频发，严重影响大众开展户外运动。所以如何开展室内，特别是家庭运动是一个值得研究的问题。

目前家庭运动器材主要是跑步机，但是根据多年的研究，跑步机因为存在不少问题，造成使用频率和持久性很差。存在的问题包括：1）跑步机主要锻炼腿部，进行有氧项目锻炼，而健身运动要求全身和全方位进行锻炼，比如科学健身要求包括的速度锻炼、力量锻炼、柔韧锻炼、平衡锻炼、专项锻炼等，这些锻炼在传统的跑步机上没有办法进行；2）跑步机提供的运动方法单一，长时间机械的跑步动作会造成枯燥和疲劳，很难持久坚持锻炼运动。经常看到跑步者头戴耳机或者观看电视，就是用外界的方法分散跑步运动的枯燥，达到坚持运动的目的；3）跑步机基本是单机的运动设备，没有主机、存储、网络等互联网的连接。单机设备一般没法提供个性化的运动处方和保存运动成绩记录，运动记录的积累不但对自己有参考作用，大数据量进行统计分析可以找出有价值的信息，分享给好友更是把体育和社交结合；4）跑步机存在一定危险，少儿、老年、体重超重、膝盖有损伤等用户都是不适合在跑步机上进行较长时间运动的，患有心血管疾病的患者也不适合独自没有人照顾的进行跑步运动，跑步前热身不够也会造成运动损伤。

此外室内通过视频学习并掌握健身运动是个使用非常多的方法。传统的视频健身运动教学方式是教练拍摄运动的标准动作视频，学员用播放器播放教练视频并跟随视频做动作。这个传统的方式主要问题是教学过程中，学员按照教练视频做动作是个单向的过程，没有任何方法知道学员是否真的做了运动，运动的动作是否正确到位，是哪位学员做的运动。由于缺乏互动手段，无法形成教学闭环，最后缺乏个性化的评估体系。由于上述原因，视频教学虽然存在好长时间，但是真正起到指导锻炼，督促锻炼，评估锻炼方面效果不是非常理想。

发明内容

发明目的：针对现有技术的不足，本发明提供一种教学视频与摄像头视频运动对比评分的方法，能够两个视频的动作做互相匹配对比，识别两个视频的相似性。

技术方案：本发明所述教学视频与摄像头视频运动对比评分的方法，包括如下步骤：

（1）播放教学视频，通过摄像头实时获取摄像头视频；

（2）针对约定的运动区域获取教学视频、摄像头视频的运动判定区域；

（3）对教学视频、摄像头视频的运动判定区域进行二值化处理，同时各自按照前后二值化的连续帧做差值处理，得到教学视频与摄像头视频各自二值化的实时运动影像，通过归一化数值表示各个元素点的前后运动强度；

（4）设置阈值，将步骤（3）处理后大于阈值的区域定义为有效运动、小于等于阈值的区域定义为无效运动，把教学视频、摄像头视频的运动强度图像转换为对应的运动标准化矩阵；

（5）将教学视频、摄像头视频的运动标准化矩阵做XOR运算，得到运动相差矩阵，把运动相差矩阵做累加计算得到教学视频、摄像头视频中运动相似性数值；

（6）把相差矩阵做累加计算得到的运动相似性数值做归一化处理，反映运动差别。

进一步地，所述步骤（2）中将教学视频、摄像头视频中人物运动范围按4：3的比例裁剪处理，统一缩放成320*240像素的尺寸获得运动判定区域。

进一步地，所述步骤（3）做二值化运动处理，归一化到0~100的数值反应元素点前后运动强度值，0等于该元素点没有运动，100等于该元素点有剧烈的运动。

进一步地，所述步骤（4）中设置阈值，比如为50，把运动强度图像转化为对应的运动矩阵，运动矩阵中运动强度值大于阈值50的取1表示有效运动、否则取0表示无效运动，得到教学视频、摄像头视频运动标准化矩阵。

进一步地，所述步骤（5）教学视频、摄像头视频二值化的实时运动影像定义为320*240的两个矩阵，对两个矩阵做异或处理，结果矩阵叫做相差矩阵；相差矩阵的元素按照如下规则取值：如果两个矩阵某个位置全为0或者全为1表示元素相同，那么相差矩阵该位置元素取值0；如果两个矩阵某个位置元素分别为1、0或者1、0表示元素不同，那么相差矩阵该位置元素取值1。

进一步地，所述步骤（6）对相差矩阵做归一化处理，差异矩阵的所有元素求和/相差矩阵的总元素*100，计算结果D=0~100，量化反映教学视频与摄像头视频实时的差异性；如果D=0表示两个源视频完全一样没有任何不同，如果D=100表示两个视频完全不一样没有任何一点的相同。

进一步地，根据经验增多视频做测试设置不同的阀值D优、D良、D中、D差，在学员做动作的实时或者某个动作结束时候判定D，如果D<D优则学员的动作模仿教练非常相似；依次类推，实时判定D>D差则学员的动作与教练相差很大。

进一步地，所述教学视频播放分为剪影和正片，学员在剪影播放片段调整位置与提示剪影框完全吻合，确保正片播放时学员判定位置与教学视频中教练位置对应。

进一步地，所述运动标准化矩阵分为上下左右四个部分，分别对应摄像头捕捉到人体双手双脚的运动状况。

有益效果：与现有技术相比，本发明的优点：本发明在专利CN104486653A一种基于网络互动的视频体感健身系统及其方法的基础上进行拓展，原专利申请只能识别单个视频的前后是否有运动的动作，本发明拓展到两个视频，并对两个视频的动作做互相匹配对比，识别两个视频的相似性；本发明处理速度快精度高，仅仅需要一个普通的摄像头就能完成，具备操作简单，设备要求低，普适性高的特点。

本发明提供的方法数据处理简单，需要花费的CPU等资源十分有限，基本可以满足各类互联网终端的使用，如果教练视频和学员都按在约定的区域面对摄像头进行运动，同时约定背景固定不动并且色彩与运动者有明显反差，那么这个方法有效性较高。

本发明对于开展室内太极、气功、保健操、有氧操等有限范围内的徒手锻炼具有很好的效果；比较脸部识别，手部识别，肢体骨架识别等复杂图像识别技术，在粗大运动中本方案效果十分明显；健身运动属于全身的粗大运动，粗大运动中手脚躯干的运动幅度会比较大，往往会遮盖手部脸部等特效点；特别在普通2D摄像头的条件下，普通家用环境光线下，连续拍摄的影像不可能十分精确，实验室证明有效的各种特征识别技术很难奏效，判定精确性，响应实时性都不能达到商用要求；本方案的不依赖特征判定的视频比较方案，如果规范开始站位和背景静态后，实际使用效果有效。

附图说明

图1为本发明的中异或运算的示意图；

图2为标准化矩阵划分示意图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明。

实施例1：（1）首先本发明提供的方法在互联网终端上播放教学视频，教学视频是事先按照要求拍摄的，教练在绿屏背景下拍摄，后期处理可以加入各种背景合成，运动判定区域针对原始绿屏视频进行，这样背景可以有效和教练分离，同时选定包含整个运动过程的区域，按照4：3的格式定义好输入视频区域；在互联网终端上安装广角摄像头，把学员模仿运动的过程拍摄下来并用小窗口形式同时与教练视频一起播放，这样学员在小窗口中看到自己的动作，仿佛是看到镜子中的自己，容易把自己的动作和教练动作进行对比，实时观察到自己与教练动作的差别，及时给予纠正；学员开始运动时候，在正式开始前提示一个与教练视频中教练开始动作的剪影，提示让学员调整位置与提示剪影框完全吻合，这样确保后面学员的运动判定与教练是位置对应的，提高判定的准确性。

（2）获取教学视频与摄像头视频，正对视频中人物运动区域做范围定义，由于视频的格式和尺寸可以各不相同，为了教学视频与摄像头视频运动对比评分方便，可以对教学视频与摄像头视频进行规范化处理，把教学视频与摄像头视频人物运动的范围按照4：3的比例裁剪出来，最后统一缩放成320*240像素的尺寸。

（3）两个4:3的视频首先进行尺寸转换变成标准的320x240格式，然后二值化灰度图像并进行二值化处理，二值化处理参考公布号为 CN 102350057 A的发明专利申请“基于电视机顶盒实现体感游戏操控的系统及方法”，最后归一化到0~100的值，反应各个元素点的前后运动强度，0等于该点没有运动，100等于该点有剧烈的运动；

（4）针对两个运动强度图标再进行二值化处理，设置阀值，比如50，把运动强度图像转化为对应的运动矩阵，运动矩阵中运动强度值大于阈值50的取1表示有效运动、否则取0表示无效运动，得到教学视频、摄像头视频运动标准化矩阵。

（5）将教练和学员对应的两个标准化运动矩阵做XOR运算，得到运动相差矩阵；如图1所示，从左到右分别为教学视频标准化运动矩阵、摄像头视频标准化运动矩阵、相差矩阵，相差矩阵的元素按照如下规则取值：如果两个矩阵某个位置全为0或者全为1表示元素相同，那么相差矩阵该位置元素取值0；如果两个矩阵某个位置元素分别为1、0或者1、0表示元素不同，那么相差矩阵该位置元素取值1，反应两个视频的运动相似性，把相差矩阵做累加计算，得到反应两个视频中运动相似性的数值；运动标准化矩阵分为上下左右四个部分，分别对应摄像头捕捉到人体双手双脚的运动状况，如图2所示。

（6）对相差矩阵做归一化处理，差异矩阵的所有元素求和/相差矩阵的总元素*100，计算结果D=0~100，量化反映教学视频与摄像头视频实时的差异性；如果D=0表示两个源视频完全一样没有任何不同，如果D=100表示两个视频完全不一样没有任何一点的相同；如果学员和教练的动作相仿，那么运动相差矩阵中各点的元素应该趋向于0，累计计算的结果值应该较小；反之运动相差矩阵中多数元素向于1，累计计算的结果值应该较大。根据经验增多视频做测试设置不同的阀值D优、D良、D中、D差，在学员做动作的实时或者某个动作结束时候判定D，如果D<D优则学员的动作模仿教练非常相似；依次类推，实时判定D>D差则学员的动作与教练相差很大。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims

1.一种教学视频与摄像头视频运动对比评分的方法，其特征在于，包括如下步骤：

（1）播放教学视频，通过摄像头实时获取摄像头视频；

2.根据权利要求1所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述步骤（2）中将教学视频、摄像头视频中人物运动范围按4：3的比例裁剪处理，统一缩放成320*240像素的尺寸获得运动判定区域。

3.根据权利要求1或2所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述步骤（3）做二值化运动处理，归一化到0~100的数值反应元素点前后运动强度值，0等于该元素点没有运动，100等于该元素点有剧烈的运动。

4.根据权利要求3所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述步骤（4）中设置阈值为50，把运动强度图像转化为对应的运动矩阵，运动矩阵中运动强度值大于阈值50的取1表示有效运动、否则取0表示无效运动，得到教学视频、摄像头视频运动标准化矩阵。

5.根据权利要求4所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述步骤（5）教学视频、摄像头视频二值化的实时运动影像定义为320*240的两个矩阵，对两个矩阵做异或处理，结果矩阵叫做相差矩阵；相差矩阵的元素按照如下规则取值：如果两个矩阵某个位置全为0或者全为1表示元素相同，那么相差矩阵该位置元素取值0；如果两个矩阵某个位置元素分别为1、0或者1、0表示元素不同，那么相差矩阵该位置元素取值1。

6.根据权利要求5所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述步骤（6）对相差矩阵做归一化处理，差异矩阵的所有元素求和/相差矩阵的总元素*100，计算结果D=0~100，量化反映教学视频与摄像头视频实时的差异性；如果D=0表示两个源视频完全一样没有任何不同，如果D=100表示两个视频完全不一样没有任何一点的相同。

7.根据权利要求6所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：根据经验增多视频做测试设置不同的阀值D优、D良、D中、D差，在学员做动作的实时或者某个动作结束时候判定D，如果D<D优则学员的动作模仿教练非常相似；依次类推，实时判定D>D差则学员的动作与教练相差很大。

8.根据权利要求1所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述教学视频播放分为剪影和正片，学员在剪影播放片段调整位置与提示剪影框完全吻合，确保正片播放时学员判定位置与教学视频中教练位置对应。

9.根据权利要求1所述的教学视频与摄像头视频运动对比评分的方法，其特征在于：所述运动标准化矩阵分为上下左右四个部分，分别对应摄像头捕捉到人体双手双脚的运动状况。