CN111091046A - 一种基于机器视觉的用户不良坐姿矫正系统 - Google Patents

Abstract

本发明涉及一种基于机器视觉的用户不良坐姿矫正系统，通过安装在书桌旁的单、双摄像头来定时获取青少年的坐姿图片，然后将图片输入到后台的识别模块进行坐姿识别，然后会把结果传递并存储到统计模块，统计模块会根据一定时间的统计结果给出该青少年坐姿不良的严重程度，并将结果和矫正坐姿不良的可能方法提供给青少年监护人。监护人将采用的矫方法分类按次提供给统计模块，会在之后的统计结果中分析出造成该青少年坐姿不良的原因，让其监护人可以针对性的帮其矫正，可以更快的帮其矫正不良坐姿。

Description

一种基于机器视觉的用户不良坐姿矫正系统

技术领域

本发明涉及一种基于机器视觉的用户坐姿矫正系统，属于健康领域，主要应用的知识是计算机深度学习领域比较流行的深度学习，以及数理统计的相关知识。

背景技术

中小学生学习压力太大导致学生长时间坐立已成为一个严重的社会问题，严重影响了青少年身体的发育，特别是不良坐姿容易引起更严重的身体问题，而正确的坐姿则可以将危害降到最小化。

在以往的研究中，姿态识别是一个人们关注度比较高的领域，从最开始的机器学习算法(比较著名的有K-近邻法，SVM等)，到类似图像分类方面的直接把图片放到CNN中进行卷积分类的算法，识别的正确率也在逐步提升，而在人体姿态识别方面，人们引入骨骼关键点的特征提取之后，使得准确率得到显著提升。

在人体姿态方面研究挺多，但人们更多的是关注人体动作方面，具体到基于机器视觉坐姿方面论文却非常少，而在这些研究中有的是数据集局限性大，有的提取的特征不合理，很难具有普适性。湖南大学黄旭的研究生毕业论文《基于判别式深度学习的坐姿视觉识别方法研究》，在最终优化后只是提取了双目相机的图片视差作为补充特征，没有充分利用图片数据，且其数据集普化程度小，不具备说服力。

发明内容

本发明所解决的问题：克服现有技术的不足，提供一种基于机器视觉的用户坐姿矫正系统，采用人体骨骼关键点作为神经网络的输入，使系统不受用户衣物，所处背景的影响；采用普通摄像头作为图片采集工具，所需成本低。通过系统的识别模块和统计模块结合，可以准确分析出用户的坐姿状况。

本发明技术解决方案：

一种基于机器视觉的用户不良坐姿矫正系统，包括：摄像头和服务器，服务器包括识别模块和统计模块；通过安装在书桌旁的摄像头按一定时间间隔捕捉用户的侧面坐姿图片，根据需求，选择性的加装正摄像头图片，用作辅助识别；将所获取的图片传回到服务器，服务器中的识别模块是由大量数据集训练的神经网络模型，该识别模块对图片人物进行骨骼关键点提取，然后将提取的数据输入到神经网络中进行坐姿识别，并将识别结果传递并存储至统计模块；统计模块记录识别结果并对一段时间的数据进行分析，给出该用户坐姿不良的评定等级，如果判断学生坐姿不规范，就会将评定等级和矫正坐姿不良的矫正方法提供给智能设备，智能设备给出采取相应措施的提示给用户，同时智能设备再将矫正方法分类按次反馈到给统计模块，统计模块再根据矫正后用户意见的表现情况，分析出造成用户坐姿不良的真正原因，让用户针对性的进行矫正。

所述神经网络训练所采集数据集为采集的学生坐姿图片数据集，其中采集的照片包含正常坐姿、前趴、后仰、左趴、右趴、左倾、右倾共7种姿势，正面、侧面图片分别2000张。

所述骨骼关键点提取采用的通用工具openpose；所述关键点包含：正面15个关键点和侧面10个关键点，正面15个关键点包括左耳、右耳、左眼、右眼鼻、颈、左肩、左肘、左手腕、右肩、右肘、右手腕、左臀、中臀和右臀；侧面10个关键点包括左耳、左眼、鼻、颈、左肩、左肘、左手腕、左臀、左膝盖和左脚踝。

所述神经网络采用了能有效防止训练衰退的Resnet网络，神经网络(CNN)的识别过程是一样的，卷积层初步提取特征，池化层提取主要特征，全连接层将各部分特征汇总，最后产生分类器进行识别；Resnet网络结构(如图5)主要由Residual块(如图4)构成Residual序列，Residual序列包含3个3*3*64Residual块,4个3*3*128Residual块，6个3*3*256Residual块，3个3*3*512Residual块。其中Residual块分为：Residual和identity两部分，如图4所示，F(x)即为Residual，x为identity。训练过程中神经网络会把最后的识别结果和真实结果作对比，得到一个loss值，神经网络通过降低loss值来提高识别精度。

所述摄像头为单摄像头或双摄像头，定时获取用户的坐姿图片。

所述统计模块的具体过程：(1)统计用户不良坐姿次数，评出不良坐姿情况Y；(2)统计用户各种矫正方式X(X1,X2,X3)的次数；(3)统计不良坐姿情况Y的变化；(4)根据X,Y的变化关系分别求出X1，X2，X3与Y的相关系数，即找到主要影响坐姿不良的主要因素；

所述相关系数的求解公式如下：

X,Y的协方差：

Sx样本标准差：

Sy样本标准差：

相关系数：

分别求出X1,X2,X3因素与Y的相关系数，根据实际相关系数越大，表示X与Y的相关性越大，根据相关性系数找到造成坐姿不良的主要原因。

本发明与现有技术相比的优点在于：通过安装在书桌旁的摄像头按一定时间间隔捕捉用户的侧面坐姿图片，根据需求，选择性的加装正摄像头图片，用作辅助识别；将所获取的图片传回到服务器，服务器中的识别模块是由大量数据集训练的神经网络模型，该识别模块对图片人物进行骨骼关键点提取，然后将提取的数据输入到神经网络中进行坐姿识别，并将识别结果传递并存储至统计模块；统计模块记录识别结果并对一段时间的数据进行分析，给出该用户坐姿不良的评定等级，如果判断学生坐姿不规范，就会将评定等级和矫正坐姿不良的矫正方法提供给智能设备，智能设备给出采取相应措施的提示给用户，同时智能设备再将矫正方法分类按次反馈到给统计模块，统计模块再根据矫正后用户意见的表现情况，分析出造成用户坐姿不良的真正原因，让用户针对性的进行矫正。

附图说明

图1为双摄像头识别过程；

图2为单摄像头识别过程；

图3为本发明的实现流程图；

图4为Resnet的Residual块；

图5为Resnet的整体结构。

具体实施方式

本发明是建立在计算机视觉的基础上进行的，通过安装在书桌旁的摄像头获取用户学习时的坐姿图像，再将图像上传到后台进行处理，反馈识别结果，然后根据结果来进行相应处理。后台即是进行图像识别的云服务器，用户的坐姿照片会通过网络传到后台进行识别处理，具体需求及技术如下：

(1)设备需求：

智能手机 1部

摄像头 1-2个

配套系统(手机软件)

(2)识别模块

通过对人体坐姿的分析，很容易可以知道，因为有桌子遮挡的缘故，仅通过正面的图像很难获取人体的整体特征图，而这时从侧面去可以获取比正面个更加全面的数据特征，为了获取更加全面的特征，可以采用双摄像头(正,侧面各一个)来采集用户坐姿图像，当然如果用户考虑成本情况，也可以选择只要一个摄像头放在侧面，这样已经比较好的提取了区分度较高的特征，实际应用没有问题，加上正面摄像头也只是为了做补充。

图1，图2所示,在识别过程，在以往的姿态识别中，人们往往取正面的图像作为输入，然后通过算法识别出关键点，一般为18个或25个，不同数据集有所不同，但大部分情况下数据集采集的图像是人物不被遮挡的场景，通过已有的算法特征可以很方便进行姿态识别。本发明的内容和一般的姿态识别问题有很多不同，正面拍摄的图像将会被课桌遮挡掉下半身的图像，只能提取出15个骨骼关键点(上半身)，而会忽略掉很多关键点信息。从常识可知，一般不良坐姿分为身体前倾和身体侧倾两种形式，而只关注正面的坐姿是没法正确获取身体特征的。因为正面前倾的不良坐姿会少了上半身和下半身的关节点位置关系，得不到好的结果，在处理从图像读取目标空间信息的时候，人们往往会采用深度相机进行数据采集，这样就可以方便地获取目标的空间坐标，但深度相机并不适用于本发明，因为深度相机也无法获取遮挡部分的数据。而如果从侧面来对人体图像捕捉，就可能很客观的获得上半身和下半身的位置关系，综合考虑各种情况，决定采用以侧面图片数据为主，以正面图片特征为辅的方式(如图1)进行特征提取，即在用户侧面安装一个摄像头，采集侧面的图片数据，侧面只能观察到人体的一半，所以可以有效提取其中的10个关键点，而关键点会以坐标(x，y，c)形式给出，其中x,y分别是骨骼关键点的横纵坐标，c则是提取到的关键点的置信度。可以加入适当的padding把两部分数据按通道叠加到一起，这项就获得了数据长度为输入数据。其中openpose是比较成熟的骨骼关键点提取工具，应用该工具可以很容易的获取信息，之后再将关键点输入Resnet进行训练最后得到效果比较好的模型，利用该训练模型来进行坐姿识别。当然用户为了节约成本，也可以采用单摄像头装在侧面的方式(如图2)，这种方式的正确率可能稍微低一些，但是也可以取得不错的效果。

(3)统计模块

①情况分级

结合实际额情况可知，不良坐姿在一定时间内出现的时间达到一定长度才会危害身体健康，不应该把不标准坐姿认定为不良坐姿，人体在保持一个姿势一定的时间后，需要一段时间来休息。为了很好的评定用户的不良程度情况，根据实际情况做了相应的一些假设，设定系统每隔1分钟会对姿态进行一次标准判定，然后记录到后台，根据记录的结果把坐姿分为四种情况：正常，轻微不良，不良，严重不良(如表1)：

表1坐姿不良等级表

等级	正常	轻微不良	不良	严重不良
					不良坐姿(次)	<5	5-10	11-20	>20
统计计分	4	3	2	1

每隔半小时会反馈一次结果产生一次评定结果，将坐姿情况同步到智能设备，用户可以实时了解坐姿状况。

②原因判断

造成坐姿不良的原因有很多，有可能是桌椅不匹配，也有可能是不良习惯造成的，还可能是一些身体骨骼发育不健全带来的问题，如果是桌椅不匹配引起的坐姿不良，建议更换合适的桌椅就好了，如果是不良习惯，建议采用辅助性矫正工具来进行适当矫正，而对于骨骼发育不健全等引起的坐姿不良则需要及时就医，以免引起更加严重的后果。一般来说，引起坐姿不良的原因可能是多方面的，可以根据统计结果给出合理建议，针对性的对用户进行坐姿矫正。

设X为引起坐姿不良的原因，其中X1为座椅矫正次数，X2为采用辅助器具矫正次数，X3医疗骨骼矫正次数，设坐姿不良程度为Y，根据X,Y的实际情况，可以分析出引起坐姿不良的真正原因。

X,Y的协方差：

Sx样本标准差：

Sy样本标准差：

相关系数：

这样可以分别求出X1,X2,X3因素与Y的相关系数，根据实际相关系数越大，表示X与Y的相关性越大，可以根据相关性系数找到造成坐姿不良的主要原因。

如图3所示，是整个矫正系统的具体流程，其中识别模块和统计模块是该系统的核心所在。通过安装在用户的前面和侧面摄像头手机两个方向的图片数据，然后将图片上传到服务器，服务器内置有识别模块和统计模块两个模块。识别模块会将目标姿态进行分类，判断是否符合坐姿规范，之后将结果反馈到统计模块中去。

在统计模块中已经介绍，结合实际情况，一般用户坐下学习的时间在半小时以上，而不良坐姿在持续一定时间后才会对身体造成危害，系统每半个小时进行一次坐姿情况反馈，用户可以通过智能设备的得到坐姿情况情况。目前从三个原因来分析用户的坐姿不良形成原因，用户首次使用矫正系统后，如检测出被存在坐姿不良的情况，因为矫正不良坐姿是个比较漫长的过程，所以建议用户从三方面入手改进工作，根据之后的统计结果可以分析出造成该用户坐姿不良的原因，然后指导用户针对性的矫正。

通过安装在桌子旁边的摄像头采集青少年学习的实时图片，通过已经训练好的模型进行判断，如果判断学生的坐姿不规范，就会通过智能设备进行提醒。

在通过对人体特征的分析，采用单或双摄像头两种方式来获取人体坐姿数据。

(1)识别算法

先采用openpose对数据提取的照片提取骨骼关键点，坐标的形式会以(x,y,c)的形式给出，其中x,y分别是骨骼关键点的横纵坐标，c则是提取到的关键点的置信度。之后将关键点数据进行处理后放入深度残差网络(Resnet)中做分类识别，然后就可以获得评测目标的坐姿是否标准。

(2)统计方法

本发明通过统计青少年在单位时间内出现不良坐姿的频率，对青少年不良坐姿进行评定分级，把结果反馈给青少年监护人，一般造成不良坐姿的因素有很多，会根据家长矫正后的结果获得新的评定等级，根据新的等级影响因素来寻找真正造成坐姿不良的方法，帮家长找到正确的影响因素。

如图4所示，weight layer即为卷积层，用来提取图片特征，relu是非线性激活函数，x为identity即输入本身,F(x)即为残差部分(Residual)，图4整体为残差块，即构成深度残差网络的基本模块。

图5是深度残差网络(Resnet)的整体结构，输入图片(input)经过7*7,64通道的卷积核，之后便通过残差模块构成的残差序列(Residual序列)，残差序列(Residual序列)包含3个3*3*64Residual块,4个3*3*128Residual块，6个3*3*256Residual块，3个3*3*512Residual块，Avg pool为平均池化层，用于简化参数，同时减小邻域大小受限造成的误差，最后fc为全连接层，fc可以整合前面提取的所有特征，用于分类得到最终的输出(output)。

Claims (6)

1.一种基于机器视觉的用户不良坐姿矫正系统，其特征在于，包括：摄像头和服务器，服务器包括识别模块和统计模块；通过安装在书桌旁的摄像头按一定时间间隔捕捉用户的侧面坐姿图片，根据需求，选择性的加装正摄像头图片，用作辅助识别；将所获取的图片传回到服务器，服务器中的识别模块是由大量数据集训练的神经网络模型，该识别模块对图片人物进行骨骼关键点提取，然后将提取的数据输入到神经网络中进行坐姿识别，并将识别结果传递并存储至统计模块；统计模块记录识别结果并对一段时间的数据进行分析，给出该用户坐姿不良的评定等级，如果判断学生坐姿不规范，就会将评定等级和矫正坐姿不良的矫正方法提供给智能设备，智能设备给出采取相应措施的提示给用户，同时智能设备再将矫正方法分类按次反馈到给统计模块，统计模块再根据矫正后用户意见的表现情况，分析出造成用户坐姿不良的真正原因，让用户针对性的进行矫正。

2.根据权利要求1所述的一种基于机器视觉的用户不良坐姿矫正系统，其特征在于：所述神经网络训练所采集数据集为采集的学生坐姿图片数据集，其中采集的照片包含正常坐姿、前趴、后仰、左趴、右趴、左倾、右倾共7种姿势，正面、侧面图片分别2000张。

3.根据权利要求1所述的一种基于机器视觉的用户不良坐姿矫正系统，其特征在于：所述骨骼关键点提取采用的通用工具openpose；所述关键点包含：正面15个关键点和侧面10个关键点，正面15个关键点包括左耳、右耳、左眼、右眼鼻、颈、左肩、左肘、左手腕、右肩、右肘、右手腕、左臀、中臀和右臀；侧面10个关键点包括左耳、左眼、鼻、颈、左肩、左肘、左手腕、左臀、左膝盖和左脚踝。

4.根据权利要求1所述的一种基于机器视觉的用户不良坐姿矫正系统，其特征在于：所述神经网络采用能有效防止训练衰退的Resnet网络，Resnet神经网络的识别过程：卷积层初步提取特征，池化层提取主要特征，全连接层将各部分特征汇总，最后产生分类器进行识别；Resnet网络结构由Residual块构成Residual序列，Residual序列包含3个3*3*64Residual块,4个3*3*128Residual块，6个3*3*256Residual块，3个3*#*512Residual块。其中Residual块分为：Residual和identity两部分，F(x)即为Residual，x为identity，训练过程中神经网络会把最后的识别结果和真实结果作对比，得到一个loss值，通过降低loss值来提高识别精度。

5.根据权利要求1所述的一种基于机器视觉的用户不良坐姿矫正系统，其特征在于：所述摄像头为单摄像头或双摄像头，定时获取用户的坐姿图片。

6.根据权利要求1所述的一种基于机器视觉的用户不良坐姿矫正系统，其特征在于：所述统计模块的具体过程：(1)统计用户不良坐姿次数，评出不良坐姿情况Y；(2)统计用户各种矫正方式X的次数；(3)统计不良坐姿情况Y的变化；(4)根据X,Y的变化关系分别求出用户各种矫正方式X的次数与Y的相关系数，即找到主要影响坐姿不良的主要因素；

所述相关系数的求解公式如下：

X,Y的协方差：

Sx样本标准差：

Sy样本标准差：

相关系数：

分别求出用户各种矫正方式X的因素与Y的相关系数，根据实际相关系数越大，表示X与Y的相关性越大，根据相关性系数找到造成坐姿不良的主要原因。

Images