CN109409273A - 一种基于机器视觉的运动状态检测评估方法及系统 - Google Patents

Abstract

本发明提供一种基于机器视觉的运动状态检测评估方法及系统，其中方法包括获取动态面部特征，还包括以下步骤：根据所述动态面部特征进行动态建模；基于所述动态建模，将抓拍到的图像提交至推理服务器进行计算。本发明提出一种基于机器视觉的运动状态检测评估方法及系统，基于基础运动者识别理论基础衍生，结合运动者在运动状态下的差异化特征做对比结果，与时序变化进行比较，得出不同运动者的运动状态评估结果。

Description

一种基于机器视觉的运动状态检测评估方法及系统

技术领域

本发明涉及运动状态评估的技术领域，特别是一种基于机器视觉 的运动状态检测评估方法及系统。

背景技术

在计算机视觉研究应用领域中，与人脸相关的一系列研究课题 近年来获得了较大的发展和较好的结果，有着广泛的应用前景。但 目前人脸检测多是基于静态特征，针对运动状态下运动者面部变化 无法进行有效评估。在运动健身领域，有常用的光学心率法、心电 感应法、及陀螺仪记步法，来通过心率或单位步频集合用户输入的 经验值计算来实现运动状态及运动效果评估，因需要采购额外设备 为运动成本增加负担、同时因佩戴方式的独特性对运动者本身也会 有佩戴舒适度的影响。

公开号为CN108492879A的发明专利公开了一种终端设备、运动 将康评估系统和方法，该终端设备包括：接收模块，用于接受嵌入 在用户的内衣中的至少一个第一传感器检测的用户的生理数据；获 取模块，用于获取第二传感器检测的用户的运动数据，该运动数据 为用户处于运动状态时检测到的运动参数；以及评估模块，用于基 于生理数据和运动数据对用户进行运动健康评估。该方法需要将传 感器安装在用户的内衣上，容易使用户感觉不够舒适；其次，人体 生理数据包括人体温度，人在运动状态时，由于人的个体差异容易 造成人体温度的差异化和测量的不准确，使得评估出现错误。

发明内容

为了解决上述的技术问题，本发明提出一种基于机器视觉的运动 状态检测评估方法及系统，基于基础运动者识别理论基础衍生，结合 运动者在运动状态下的差异化特征做对比结果，与时序变化进行比较， 得出不同运动者的运动状态评估结果。

本发明第一目的是提供一种基于机器视觉的运动状态检测评估 方法，包括获取动态面部特征，还包括以下步骤：

步骤1：根据所述动态面部特征进行动态建模；

步骤2：基于所述动态建模，将抓拍到的图像提交至推理服务器进行 计算。

优选的是，所述动态面部特征包括基础运动者特征、面部朝向特 征时序特征和运动状态特征中至少一种。

在上述任一方案中优选的是，所述基础运动者特征是指包括脸轮 廓、口、眼、眉、鼻和耳的综合特征。

在上述任一方案中优选的是，每个运动者的所述基础运动特征由 n个标定点组成的向量表示，

X_i＝([x_i0，y_i0]，[x_i1，y_i1],…,[x_ij，y_ij],…,[x_in，y_in]),其中，i为每一 个运动个体的编号，j为自然数，且0≤j≤n。

在上述任一方案中优选的是，所述面部朝向特征为一个以运动者 轮廓中心为起始的角度向量值θ。

在上述任一方案中优选的是，所述时序特征为运动过程瞬间时间 节点，向量表示为

S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0],…[Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij])， 其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒。

在上述任一方案中优选的是，所述运动状态特征是指在不同的运 动状态下图像内容所反映运动状态的运动者特征。

在上述任一方案中优选的是，所述运动状态包括放松、专注、紧 张和疲惫。

在上述任一方案中优选的是，所述步骤1包括以下子步骤：

步骤11：对训练数据中特征集合进行归一化；

步骤12：对归一化后的所有特征集合进行PCA(低损降维)；

步骤13：计算运动者数据在某个时间节点内的运动状态动态变化T。

在上述任一方案中优选的是，所述运动状态动态变化T的计算公 式为

其中，n、m为起始的两个时间节点。

在上述任一方案中优选的是，所述步骤2还包括所述推理服务器 获得照片中运动者的运动状态并返回该结果标签及阈值。

在上述任一方案中优选的是，所述步骤2还包括基于所述结果标 签进行运动状态评估、综合运动状态推荐和参与运动的用户运动能力 评估中至少一种。

在上述任一方案中优选的是，所述运动状态评估包括以下内容：

1)以用户的一组参考数据作为基础数据直接展示给用户；

2)基于运动状态及历史参考数据，给出当前运动状态到下一个 运动状态所需综合运动量；

3)当用户处于极限运动状态时，则相应进行增加运动量或减少 运动量提醒。

在上述任一方案中优选的是，所述参考数据包括运动状态、综合 运动量、运动者性别和运动者年龄中至少一种。

在上述任一方案中优选的是，所述综合运动量包括运动圈长、运 动圈数和每圈运动完成时间中至少一种。

在上述任一方案中优选的是，所述极限运动状态为轻松状态或疲 惫状态。

在上述任一方案中优选的是，所述综合运动状态推荐包括以下内 容：

1)以用户的一组参考数据作为基础数据直接展示给用户；

2)提醒用户本周所达成的综合运动状态成就和/或尚未完成的运动 量。。

在上述任一方案中优选的是，所述参与运动的用户运动能力评估 方法为根据运动者最大摄氧量情况评估运动者的心肺能力，根据所能 达到的最大MET值进行能力评估。

在上述任一方案中优选的是，所述摄氧量的计算公式为VO2 (ml/kg*min)＝安静部分+水平活动部分。

在上述任一方案中优选的是，所述最大MET值F.C.的计算公式为

F.C.＝VO2max(ml/kg*min)/3.5(ml/kg*min)。

本发明第二目的是提供一种基于机器视觉的运动状态检测评估 系统，包括用于获取动态面部特征的获取模块，，还包括以下模块：

动态建模模块：用于根据所述动态面部特征进行动态建模；；

计算模块：基于所述动态建模，将抓拍到的图像提交至推理服务器进 行计算。

优选的是。

在上述任一方案中优选的是，所述动态面部特征包括基础运动者 特征、面部朝向特征时序特征和运动状态特征中至少一种。

在上述任一方案中优选的是，所述基础运动者特征是指包括脸轮 廓、口、眼、眉、鼻和耳的综合特征。

在上述任一方案中优选的是，每个运动者的所述基础运动特征由 n个标定点组成的向量表示，

X_i＝([x_i0，y_i0]，[x_i1，y_i1]，...，[x_ij，y_ij]，...，[x_in，y_in])，其中，i为每一 个运动个体的编号，j为自然数，且0≤j≤n。

在上述任一方案中优选的是，所述面部朝向特征为一个以运动者 轮廓中心为起始的角度向量值θ。

在上述任一方案中优选的是，所述时序特征为运动过程瞬间时间 节点，向量表示为

S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0]，...[Y_ij，M_ij，D_ij，H_ij，Ｉ_ij，S_ij])，

其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒。

在上述任一方案中优选的是，所述运动状态特征是指在不同的运 动状态下图像内容所反映运动状态的运动者特征。

在上述任一方案中优选的是，所述运动状态包括放松、专注、紧 张和疲惫。

在上述任一方案中优选的是，所述动态建模模块包括以下子模块：

归一化子模块：对训练数据中特征集合进行归一化；

PCA子模块：对归一化后的所有特征集合进行PCA(低损降维)；

计算变化子模块：计算运动者数据在某个时间节点内的运动状态动态 变化T。

在上述任一方案中优选的是，所述运动状态动态变化T的计算公 式为

其中，n、m为起始的两个时间节点。

在上述任一方案中优选的是，所述计算模块还用于从所述推理服 务器获得照片中运动者的运动状态并返回该结果标签及阈值。

在上述任一方案中优选的是，所述计算模块还用于基于所述结果 标签进行运动状态评估、综合运动状态推荐和参与运动的用户运动能 力评估中至少一种。

在上述任一方案中优选的是，所述运动状态评估包括以下内容：

1)以用户的一组参考数据作为基础数据直接展示给用户；

2)基于运动状态及历史参考数据，给出当前运动状态到下一个 运动状态所需综合运动量；

3)当用户处于极限运动状态时，则相应进行增加运动量或减少 运动量提醒。

在上述任一方案中优选的是，所述参考数据包括运动状态、综合 运动量、运动者性别和运动者年龄中至少一种。

在上述任一方案中优选的是，所述综合运动量包括运动圈长、运 动圈数和每圈运动完成时间中至少一种。

在上述任一方案中优选的是，所述极限运动状态为轻松状态或疲 惫状态。

在上述任一方案中优选的是，所述综合运动状态推荐包括以下内 容：

1)以用户的一组参考数据作为基础数据直接展示给用户；

2)提醒用户本周所达成的综合运动状态成就和/或尚未完成的运 动量。

在上述任一方案中优选的是，所述参与运动的用户运动能力评估 方法为根据运动者最大摄氧量情况评估运动者的心肺能力，根据所能 达到的最大MET值进行能力评估。

在上述任一方案中优选的是，所述摄氧量的计算公式为VO2 (ml/kg*min)＝安静部分+水平活动部分。

在上述任一方案中优选的是，所述最大MET值F.C.的计算公式为

F.C.＝VO2max(ml/kg*min)/3.5(ml/kg*min)。

本发明提出了一种基于机器视觉的运动状态检测评估系统及方 法，不需要在用户身上安装设备，通过检测运动中的人的面部特征分 析运动状态，从而提供评估结果和运动状态推荐，方法简单易行，信 息准确。

附图说明

图1为按照本发明的基于机器视觉的运动状态检测评估方法的一优选实 施例的流程图。

图2为按照本发明的基于机器视觉的运动状态检测评估系统的一优选实 施例的结构图。

图3为按照本发明的基于机器视觉的运动状态检测评估方法的基础运动 者的一实施例的特征示意图。

图4为按照本发明的基于机器视觉的运动状态检测评估方法的如图3所示 实施例的基础运动者特征标注示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，获取动态面部特征。动态面部特征 包括基础运动者特征、面部朝向特征时序特征和运动状态特征中至少 一种。其中基础运动者特征是指包括脸轮廓、口、眼、眉、鼻和耳的 综合特征，每个运动者的所述基础运动特征由n个标定点组成的向量 表示，X_i＝([x_i0，y_i0]，[x_i1，y_i1],…,[x_ij，y_ij],…,[x_in，y_in]),其中，i 为每一个运动个体的编号，j为自然数，且0≤j≤n,[x_in，y_in]为标定 点的在人脸上的坐标；面部朝向特征为一个以运动者轮廓中心为起始 的角度向量值θ；时序特征为运动过程瞬间时间节点，向量表示为 S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0],…[Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij])， 其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒， [Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij]为代表时序特征；运动状态特征是指在不 同的运动状态下图像内容所反映运动状态的运动者特征，运动状态包 括放松、专注、紧张和疲惫。

执行步骤110，根据所述动态面部特征进行动态建模。本步骤 包括以下步骤，执行步骤111，对训练数据中特征集合进行归一化； 步骤112：对归一化后的所有特征集合进行PCA(低损降维)；步骤 113：计算运动者数据在某个时间节点内的运动状态动态变化T，运动状态动态变化T的计算公式为其中，n、m为起始 的两个时间节点。

执行步骤120，基于所述动态建模，将抓拍到的图像提交至推理 服务器进行计算，推理服务器获得照片中运动者的运动状态并返回该 结果标签及阈值，基于所述结果标签进行运动状态评估、综合运动状 态推荐和参与运动的用户运动能力评估中至少一种。运动状态评估包 括以下内容：1)以用户的一组参考数据作为基础数据直接展示给用户； 2)基于运动状态及历史参考数据，给出当前运动状态到下一个运动状 态所需综合运动量；3)当用户处于极限运动状态时，则相应进行增加 运动量或减少运动量提醒，极限运动状态为轻松状态或疲惫状态。综 合运动状态推荐包括以下内容：1)以用户的一组参考数据作为基础数 据直接展示给用户；2)提醒用户本周所达成的综合运动状态成就和/ 或尚未完成的运动量。其中，参考数据包括运动状态、综合运动量、 运动者性别和运动者年龄中至少一种，综合运动量包括运动圈长、运 动圈数和每圈运动完成时间中至少一种。参与运动的用户运动能力评 估方法为根据运动者最大摄氧量情况评估运动者的心肺能力，根据所 能达到的最大MET值进行能力评估，最大MET值F.C.的计算公式为 F.C.＝VO2max(ml/kg*min)/3.5(ml/kg*min)，其中，摄氧量的计算公式为 VO2(ml/kg*min)＝安静部分+水平活动部分。

实施例二

如图2所示，基于机器视觉的运动状态检测评估系统包括获取模 块200、动态建模模块210和计算模块220。

获取模块200用于获取动态面部特征的获取模块，动态面部特征 包括基础运动者特征、面部朝向特征时序特征和运动状态特征中至少 一种。基础运动者特征是指包括脸轮廓、口、眼、眉、鼻和耳的综合 特征，每个运动者的所述基础运动特征由n个标定点组成的向量表示， X_i＝([x_i0，y_i0]，[x_i1，y_i1],…,[x_ij，y_ij],…,[x_in，y_in]),其中，，i为每一 个运动个体的编号，j为自然数，且0≤j≤n,[x_in，y_in]为标定点的在 人脸上的坐标；面部朝向特征为一个以运动者轮廓中心为起始的角度 向量值θ；时序特征为运动过程瞬间时间节点，向量表示为 S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0],…[Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij])， 其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒， [Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij]为代表时序特征；运动状态特征是指在不 同的运动状态下图像内容所反映运动状态的运动者特征，运动状态包 括放松、专注、紧张和疲惫。

动态建模模块210包括归一化子模块211、计算变化子模块212 和计算模块220。归一化子模块211用于对训练数据中特征集合进行 归一化；PCA子模块211用于对归一化后的所有特征集合进行PCA(低 损降维)；计算变化子模块212用于计算运动者数据在某个时间节点 内的运动状态动态变化T，动状态动态变化T的计算公式为 其中，n、m为起始的两个时间节点。

计算模块220用于基于所述动态建模，将抓拍到的图像提交至推 理服务器进行计算，还用于从所述推理服务器获得照片中运动者的运 动状态并返回该结果标签及阈值，基于所述结果标签进行运动状态评 估、综合运动状态推荐和参与运动的用户运动能力评估中至少一种。 运动状态评估包括以下内容：1)以用户的一组参考数据作为基础数据 直接展示给用户；2)基于运动状态及历史参考数据，给出当前运动状 态到下一个运动状态所需综合运动量；3)当用户处于极限运动状态时， 则相应进行增加运动量或减少运动量提醒，极限运动状态为轻松状态 或疲惫状态。综合运动状态推荐包括以下内容：1)以用户的一组参考 数据作为基础数据直接展示给用户；2)提醒用户本周所达成的综合运 动状态成就和/或尚未完成的运动量。其中，参考数据包括运动状态、 综合运动量、运动者性别和运动者年龄中至少一种，综合运动量包括 运动圈长、运动圈数和每圈运动完成时间中至少一种。参与运动的用 户运动能力评估方法为根据运动者最大摄氧量情况评估运动者的心肺能力，根据所能达到的最大MET值进行能力评估，最大MET值F.C.的 计算公式为F.C.＝VO2max(ml/kg*min)/3.5(ml/kg*min)，其中，摄氧量的计 算公式为VO2(ml/kg*min)＝安静部分+水平活动部分。

实施例三

本方法基于基础运动者识别理论基础衍生，结合运动者在运动状 态下的差异化特征做对比结果，与时序变化进行比较，得出不同运动 者的运动状态评估结果。

基于机器视觉的运动状态检测评估方法包括以下部分：

动态面部特征说明

基础运动者特征：如图3所示，脸轮廓、口、眼、眉、鼻、耳等 综合特征34个。每个运动者的基础运动者特征由34个标定点组成的 向量表示为

X_i＝([x_i0，y_i0]，[x_i1，y_i1],…,[x_ij，y_ij],…,[x_in，y_in]),其中，i为 每一个运动个体的编号，j为自然数，且0≤j≤n,[x_in，y_in]为标定点 的在人脸上的坐标；

Xi＝\begin{pmatrix}[x{i0},y{i0},x{i1},y{i1},\cdots,x{ij },y{ij},\cdots,xi34,yi34]\end{pmatrix}，

面部朝向特征：面部朝向角度特征1个。面部朝向特征由一个以 运动者轮廓中心为起始的角度值，向量表示为θ。

时序特征：时序特征为运动过程瞬间时间节点，基于Unix计时 规则表示，精度为每秒，向量表示为

S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0],…[Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij])

其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒， [Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij]为代表时序特征。

Si＝\begin{pmatrix}[Y{i0},M{i0},D{i0},H{i0},I{i0},S{i0},\cdots, Y{ij},M{ij},D{ij},H{ij},I{ij},S{ij},]\end{pmatrix}。

运动状态：指在不同运动状态下，图像内容所反映运动状态的运 动者特征，数据来源为图像标注。所以标注状态为放松、专注、紧张、 疲惫四个状态。标注方法基于基础运动者特征及标签的方式组合标注。 如图4所示，标号为1的面部表情标注的状态为放松，标号为2的面 部表情标注的状态为专注，标号为3的面部表情标注的状态为紧张， 标号为4的面部表情标注的状态为疲惫。

动态面部特征建模

1、对训练数据中特征集合进行归一化；

2、对归一化后的所有特征集合进行PCA(低损降维)；

3、运动者数据在某个时间节点内的动态变化为T,表示为

其中，n、m为起始的两个时间节点。

Ti＝

begin{pmatrix}

(Sn-Sm)^{2}\\

(Xn-Xm)^{2}\\

\theta

\end{pmatrix}

推理

基于动态建模，任意运动相机抓拍到的图像提交至推理服务器进 行计算，服务器将推理获得照片中运动者的运动状态并返回该结果标 签及阈值。应用基于该结果进行评估和推荐。

应用

1、运动状态评估

数据：运动者性别、年龄、综合运动量(运动圈长、运动圈数、每圈 运动完成时间)、基于图像数据推理出的运动状态

逻辑：

{运动状态，综合运动量，运动者性别，运动者年龄}为一组参考 数据，作为基础数据直接展示给用户；

基于运动状态及历史参考数据，给出当前运动状态到下一个运动 状态所需综合运动量；

如用户出于极限运动状态(轻松、疲惫)，则相应进行增加运动 量或减少运动量提醒。

2、综合运动状态推荐

数据：运动者性别、年龄、综合运动量(运动圈长、运动圈数、每圈 运动完成时间)、基于图像数据推理出的运动状态

逻辑：

{运动状态，综合运动量，运动者性别，运动者年龄}为一组参考 数据作为基础数据直接展示给用户；

基于世界卫生组织，关于身体活动有益健康的全球建议，提醒用 户本周所达成的综合运动状态成就，及尚未完成的运动量。

3、参与运动的用户运动能力评估(推荐&运动建议的参考)，如表1 所示

数据：运动者性别、年龄、运动速度

逻辑：根据运动者最大摄氧量情况评估运动者的心肺能力。

活动	安静部分	水平活动部分	评价
				走路	3.5	0.1*速度	速度在(50-100m/min)使用
跑步	3.5	0.2*速度	速度在以上(100m/min)使用

表1

摄氧量计算公式：VO2(ml/kg*min)＝安静部分+水平活动部分

梅脱值计算公式：1MET＝3.5ml/kg*min

心肺能力指机体在尽力活动时，所能达到的最大NET值。

F.C.＝VO2max(ml/kg*min)/3.5(ml/kg*min)。

评估结果参见表2。

能力评估	F.C.(METs)
		差	<5
较差	5
		中等	10
良好	13
		优秀	18
专业运动员	22

表2

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述， 但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做 的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施 例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似 的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对 应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于机器视觉的运动状态检测评估方法，包括获取动态面部特征，其特征在于，还包括以下步骤：

步骤1：根据所述动态面部特征进行动态建模；

步骤2：基于所述动态建模，将抓拍到的图像提交至推理服务器进行计算。

2.如权利要求1所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述动态面部特征包括基础运动者特征、面部朝向特征时序特征和运动状态特征中至少一种。

3.如权利要求2所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述基础运动者特征是指包括脸轮廓、口、眼、眉、鼻和耳的综合特征。

4.如权利要求3所述的基于机器视觉的运动状态检测评估方法，其特征在于：每个运动者的所述基础运动特征由n个标定点组成的向量表示，X_i＝([x_i0，y_i0]，[x_i1，y_i1]，...，[x_ij，y_ij]，...，[x_in，y_in])，其中，i为每一个运动个体的编号，j为自然数，且0≤j≤n。

5.如权利要求4所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述面部朝向特征为一个以运动者轮廓中心为起始的角度向量值θ。

6.如权利要求5所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述时序特征为运动过程瞬间时间节点，向量表示为S_i＝([Y_i0，M_i0，D_i0，H_i0，I_i0，S_i0]，...[Y_ij，M_ij，D_ij，H_ij，I_ij，S_ij])，其中，Y为年，M为月，D为日，H为小时，I为分钟，S为秒。

7.如权利要求6所述的基于机器视觉的运动状态测评估方法，其特征在于：所述运动状态特征是指在不同的运动状态下图像内容所反映运动状态的运动者特征。

8.如权利要求7所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述步骤1包括以下子步骤：

步骤11：对训练数据中特征集合进行归一化；

步骤12：对归一化后的所有特征集合进行PCA(低损降维)；

步骤13：计算运动者数据在某个时间节点内的运动状态动态变化T。

9.如权利要求8所述的基于机器视觉的运动状态检测评估方法，其特征在于：所述运动状态动态变化T的计算公式为

其中，n、m为起始的两个时间节点。

10.一种基于机器视觉的运动状态检测评估系统，包括用于获取动态面部特征的获取模块，其特征在于，还包括以下模块：

动态建模模块：用于根据所述动态面部特征进行动态建模；；

计算模块：基于所述动态建模，将抓拍到的图像提交至推理服务器进行计算。