CN112836544A - 一种新型的坐姿检测方法 - Google Patents

Abstract

本发明公开了一种新型的坐姿检测方法，所述方法包括：通过单目视觉摄像机获取人体目标图像，根据相关算法从所述目标图像中检测提取人体躯干2D关节点的像素位置，同时建立人体躯干数学模型，初始化对应关节点的3D位置，并利用透视投影变换从所述2D/3D关节点中计算摄像机的空间位置和方向，进而通过坐标系转换统一，确定人体躯干的转向角度，以此来检测判断人体坐姿是否端正。本发明使得坐姿检测只需利用检测人体目标躯干的关节点信息来解析人的肢体语言，能够实时检测人体的坐姿是否端正，并及时提醒人体纠正不良坐姿，提高坐姿检测的实时性和准确率。

Description

一种新型的坐姿检测方法

技术领域

本发明主要涉及人体姿态估计与识别领域，具体涉及一种新型的坐姿检测方法。

背景技术

随着计算机的普及和互联网的飞速发展，使得人们将越来越多的工作放到计算机上完成，各行各业，尤其是程序开发人员、文字工作者，在计算机上的工作时间越来越长，由于长时间坐着工作，会对人的身体会产生很大影响，例如，颈椎病、腰间盘突出、近视问题等。在工作强度越来越大，休息锻炼时间越来越少的今天，如何保持端正坐姿就变得非常有必要了。

现有的基于RealSense的坐姿检测技术，通过提取出人体面部大约70个特征点的三维数据，然后利用这些关节点计算人体当前头部的转动及俯仰角度、头部与计算机显示屏之间的距离，并使用支持向量机进行训练和识别实验，实现了对人体坐姿的判断识别。

现有坐姿矫正采用智能矫正器或者智能工作平台等，如LUMO和PODO坐姿矫正器等，这种方式一旦脱离了这些坐姿矫正设备，人们仍会无意识地恢复原来的坐姿不正的状态。

现有的坐姿检测设备佩戴繁琐，舒适性较差，成本高昂，且需要经常充电，实用性较差。

基于以上缺点，人体需要一种既不阻碍日常活动又能够在坐姿不端正情况时进行实时检测和提醒功能的坐姿检测设备，且保证设备的成本低廉，实用性较高，能够被众多人体群体所接受。

发明内容

鉴于上述问题，本发明提供了一种新型的坐姿检测方法，在实时检测人体目标坐姿的前提下，提高了坐姿检测的稳定性和准确率，所述方法包括：

通过个人计算机连接单目视觉摄像机来获取工作场景下人体目标的图像，并通过深度学习的方法从所述连续多帧的图像中获取检测人体躯干2D关节点的像素位置；

对所述2D关节点进行预处理操作，通过平滑滤波的方式消除输入数据点的抖动和噪声的干扰；

所述检测图像中存在多个人体目标时，对不同时间段内的人体进行区分，利用相邻帧间关节点最近距离匹配方法进行多人区分；

建立人体躯干数学模型，通过人体躯干末端左右肩和左右胯四个关节点来表示躯干大致框架，并设置一定的深度，赋予人体躯干立体模型；

初始化人体躯干数学模型中3D关节点的三维坐标，规定右手空间直角坐标系，定义躯干中心为原点，将人体坐标关节点放在XY平面上，Z分量为零，并使左右肩和左右胯部关节点坐标对称，保证后续计算的快速准确；

通过透视投影变换，从所述人体躯干2D关节点的映射中估计躯干再三维空间内的转向，在人的深度变化相对于人体到摄像机的距离较远时，利用多点透视算法实现关节点投影，确定人体躯干关节点2D坐标与3D坐标之间的对应关系；

通过多点透视方法从一组2D点的映射中估计人体干的3D姿态，利用所述人体躯干4组2D/3D关节点坐标建立8个方程，进而确定欧式变换矩阵的最优解；

根据上述最小化重投影误差求解相机的外参，得到旋转向量和平移向量，进而利用罗德里格斯变换实现旋转向量和旋转矩阵的相互转换，确定欧式变换的旋转矩阵和平移向量，进而确定摄像机相对人体的空间位置和姿态；

将坐标系转换统一，将所有人体坐标统一到同一摄像机坐标系下，确定各个人体目标相对摄像机的方位转向；

根据变换结果所得的旋转矩阵计算人体相对摄像机在三维空间内的转角，规定旋转次序为y→x→z，优先考虑人体躯干绕y轴旋转过的角度，然后计算绕x轴的旋转角度，接着计算绕z轴的旋转角度，最后确定人体躯干在三维空间内的旋转角度，并以此判断识别人体的坐姿状态；

通过所述三方向旋转角度实现人体躯干姿态估计，并判断识别人的坐姿是否端正。

本发明通过计算机和简单的单目视觉摄像机来获取工作场景下人的三维运动数据，实时检测识别人体坐姿状态，实现了对“歪头”、“驼背”、“仰视过大”、“俯视过大”、“侧倾过大”等不良坐姿的检测识别。

附图说明

为了更清楚的说明本发明中的技术方案，下面将对发明描述中所需要使用的附图作简单的介绍，其中：

图1是本发明提供的一种坐姿检测方法结构示意图；

图2是本发明提供的一种坐姿检测流程示意图；

图3是本发明提供的一种坐姿检测方法中输入点的预处理示意图；

图4是本发明提供的一种坐姿检测方法中建立的人体躯干模型示意图；

图5是本发明提供的一种坐姿检测方法中人体躯干姿态计算求解原理图。

具体实施方式

为了使本发明所解决的技术问题和技术方案更加清晰明了，下面结合附图对本发明作进一步的详细说明。

如图1-图2所示为坐姿检测方法流程，包括硬件平台：win10 64位操作系统和常用单目摄像机和相关软件平台。本发明提供的坐姿检测方法适用于不同工作环境下对人体坐姿进行检测，所述检测方法包括：

单目视觉摄像机人体目标图像采集设备，用来拍摄人的坐姿图像并传送给后台计算机，接着利用计算机分析、处理人体的实时姿态。

从所述图像中获取人体的2D关节点信息，本发明利用深度学习的方法实现多线程的多人关节点实时检测，将深度学习应用于人机交互，可以用来检测获取人体躯干2D 关节点的像素坐标，并通过已有的2D关节点信息，扩展到躯干3D姿态估计。

利用深度学习框架检测提取躯干2D关节点来解析人体肢体语言，其识别的大致过程是，首先由摄像机捕获到2D图像，之后深度学习中的关节点检测器会识别并标记出人体关节部位，进而获取躯干末端2D关节点的像素坐标。

提取人体2D关节点在所述人体图像上的坐标，并对这些输入点进行预处理操作，如图3所示，所述图像中通过深度学习所检测提取的输入关节点不可避免的存在噪声和干扰，针对这些输入点的负面影响，对这些输入点进行平滑滤波处理，以得到较优的输入点信息。

所述检测图像中存在多个人体目标时，相应关节点检测算法也会随之检测到多个人体目标的关节点信息，此时，需要对所述图像中不同时间段内的检测目标进行区分，并将所述检测的2D关节点与人体躯干进行匹配，保证输入点信息的可靠性和准确性。

建立人体躯干数学模型，如图4所示，图中示出了深度学习检测的关节点位置，规定右手空间坐标系，初始化人体躯干模型对应的3D关节点坐标，设躯干的几何中心为坐标系原点，并保证肩部关节点连线与x轴平行，沿左肩到右肩表示正方向，y轴方向沿躯干竖直往下，z轴方向垂直于躯干平面并与人体朝向保持一致。此时人体左右肩和左右胯部关节点坐标对称，保证后续计算的简便。

通过透视投影变换，确定人体关节点的3D坐标与2D坐标之间的对应关系，坐标转换变换原理如下图5所示，其中C为相机中心，M1-M4是世界坐标系中人体躯干三维关节点，p1-p4是人体在相机图像二维平面上投影的点，人体躯干姿态估计的目的就是找到M1-M4和p1-p4之间的转换关系，即欧式变换的旋转矩阵和平移向量。

从所述人体躯干2D关节点的映射中估计人体的3D姿态，在人体的深度变化相对于人体到摄像机的距离较远时，利用PNP算法实现多点投影变换，姿态估计方程为 P＝A·[R|T]·M，其中，M为三维坐标系上的点，[R|T]为变换矩阵(欧氏变换)，是一个3*4矩阵，A为摄像机参数矩阵，存放相机内部参数，P为M在二维空间的投影。

已知多个不共线的关节点结合各个点之间的相互约束可以计算出人体姿态，组成欧式变换的矩阵旋转矩阵和位移向量[R|T]一共有12个未知量，又旋转矩阵R为正交矩阵，即每行每列都是单位向量且两两正交，故R的自由度为3，即已知矩阵R坐上角三个参数R₁₁，R₁₂，R₂₁可求出剩余的R_xx，加上平移向量的3个未知数，一共6个未知数。

利用左右肩和左右胯2D/3D四组关节点坐标，能够确定8个方程，解出6个未知数，得到旋转矩阵R和平移向量T，根据所得的旋转矩阵计算人体相对参考坐标系三方向的旋转角度，得到人体的方位指向，并以此判断识别人体的坐姿状态。

本发明提供的坐姿检测方法通过摄像机位置与人体位置之间的仿射变换能够可视化任意三维目标，即在三维空间中根据摄像机的位置来估计人体所处的位置，实现了人体躯干姿态估计，进而实时检测识别人体的坐姿状态，提高了坐姿检测的稳定性和准确率。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可以借助相关软件和通用硬件平台的方式来实现，且上述相关技术方案能够以软件产品的形式变现出来。

以上所述仅是本发明的优选实施方案，并不用于限制本发明，对本领域技术人员而言，本发明可以有各种改动和变化，在不脱离本发明原理的前提下，还可以实现人体其他关节的姿态估计，这类修改也应包含在本发明的保护范围之内。

Claims (9)

1.一种新型的坐姿检测方法，其特征在于，所述方法包括：

利用单目视觉摄像机获取人体目标图像，从所述图像中检测提取人体躯干的2D关节点信息，同时建立人体躯干数学模型，并初始化对应的3D关节点，利用透视投影变换从所述2D/3D关节点中计算求解摄像机的空间位置和方向，并通过坐标系转换统一将人体坐标全部统一到同一摄像机坐标系下，进而利用欧拉角计算得到人体相对摄像机的方位转向，并以此判断识别人体目标的坐姿状态。

2.根据权利要求1所述的坐姿检测方法，其特征在于，从所述图像中检测获取人体躯干2D关节点，所述方法包括：

通过深度学习基本方法检测提取所述图像中人体躯干2D关节点的像素坐标，且这些2D关节点所反映的信息能够较好的表征人体躯干；

对上述获取的2D关节点进行预处理操作，包括输入2D关节点的平滑滤波和相邻帧间关节点最近距离匹配等。

3.根据权利要求1所述的坐姿检测方法，其特征在于，建立人体躯干模型，所述方法包括：

对所述图像中的人体目标，建立与之匹配的人体躯干数学模型，选择合适的人体关节点来表征躯干大致框架，并设置一定的深度，使得人体躯干模型立体化；

初始化对应的3D关节点，赋予躯干关节点空间三维坐标量，将躯干中心定义为原点，使躯干关节点左右对称。

4.根据权利要求1所述的坐姿检测方法，其特征在于，通过透视投影变换计算人体的3D姿态，所述方法包括：

利用上述多对2D/3D关节点的精确位置来计算摄像机与人体之间的变换，该投影变换过程即为在摄像机与人体目标之间寻求一个欧式空间的变换，由旋转矩阵和平移向量构成。

5.根据权利要求4所述的坐姿检测方法，其特征在于，通过下述公式表示2D/3D关节点之间的欧式变换：

利用位姿估计方程来计算旋转矩阵和平移向量[R|T]：

P＝A·[R|T]·M

其中，P表示图像坐标系上2D关节点的像素坐标，A表示摄像机内参数矩阵，[R|T]表示欧式变换，M表示三维空间中的人体躯干关节点坐标。

6.根据权利要求5所述的坐姿检测方法，其特征在于，从2D点的映射中估计人体躯干的3D姿态，所述方法包括：

对所述欧式变换旋转矩阵求解，利用罗德里格斯变换将旋转向量转化为旋转矩阵所得；

通过下述公式描述旋转向量和旋转矩阵之间的转换过程，旋转向量的长度表示绕轴逆时针旋转的角度；

θ←norm(r)

r←r/θ

其中，r表示三维旋转向量，norm表示旋转向量的模，θ表示向量绕轴逆时针旋转的角度。

7.根据权利要求4所述的坐姿检测方法，其特征在于，计算摄像机与人体之间的变换，所述方法包括：

对所述的欧式变换旋转矩阵和平移向量，可确定摄像机相对人体的方位指向；

若所述图像中存在多个检测目标时，则需要对人体坐标系转换统一，将投影变换矩阵反转，即将摄像机相对人体的方位指向全部转换为人体相对摄像机的位姿。

8.根据权利要求5所述的坐姿检测方法，其特征在于，视觉投影变换通过下述公式表示一个空间点(x，y，z)和它在图像中的像素坐标(u，v)对应关系：

其中，f_x，f_y表示摄像机在两轴上的焦距，c_x，c_y摄像机光圈中心，s为深度缩放因子，f_x，f_y，c_x，c_y定义相机内参矩阵C，R为上述旋转矩阵，t为平移向量，d表示深度数据。

9.根据权利要求1所述的坐姿检测方法，其特征在于，检测判断人体的坐姿是否端正，所述方法包括：

通过所述投影变换旋转矩阵来计算欧拉角，按照右手系准则以及绕轴旋转的优先次序，确定人体躯干在三维坐标系上的转度，以此确定人体的坐姿状态，通过下述公式得到人体躯干的转角：

其中，(α，β，γ)表示人体躯干在三维空间内的转角；

根据人体躯干在三维空间内的转向角度，判断识别人体的坐姿是否端正。

Images