CN109785396B

CN109785396B - 基于双目相机的写字姿态监测方法、系统、装置

Info

Publication number: CN109785396B
Application number: CN201910064158.8A
Authority: CN
Inventors: 王颖; 刘建波; 向世明; 潘春洪
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2021-09-28
Anticipated expiration: 2039-01-23
Also published as: CN109785396A

Abstract

本发明属于计算机视觉技术领域，具体涉及了一种基于双目相机的写字姿态监测方法、系统、装置，旨在解决传统方法只能单一监测眼睛和课桌的距离，无法在不影响书写体验的前提下监测其他错误写字姿态的问题。本发明方法包括：获取双目相机采集的坐姿图像对；采用姿态估计网络进行二维姿态估计，获得二维骨架点位置；依据坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点位置获得三维骨架点位置；基于预设的骨架点状态‑姿态类别对应关系，获得坐姿图像对所属姿态类别。本发明方法可以详细分析使用者的多种写字姿态，并且不影响使用者的书写体验。

Description

基于双目相机的写字姿态监测方法、系统、装置

技术领域

本发明属于计算机视觉技术领域，具体涉及了一种基于双目相机的写字姿态监测方法、系统、装置。

背景技术

近年来青少年视力不良现象呈现低龄化和上升趋势，这其中主要的原因是青少年群体在学习的过程中长期保持错误的读书写字姿势。错误的写字姿势不仅会损害青少年的视力，而且还会影响书写的美观，甚至还会造成弯腰驼背的不良体态，危害青少年的健康发育。为了降低青少年近视的发生率，我们应当尽早让学龄儿童养成保持正确的读书写字姿态的习惯。然而单靠老师和家长的监督无法达到效果，因此市场上出现了很多用于监测儿童写字姿态的产品。

这些产品主要分为姿态提示笔、姿态矫正板、姿态矫正支架等。姿态提示笔是一种用来提示儿童眼睛高度而特殊制造的笔，这种笔内部包含一个拥有测距功能的电路，当头部与笔的距离过小时，内部的传动部件控制笔芯缩回。这种笔往往设计复杂且笨重，非常影响握笔的舒适度，电池和笔芯的更换也很不方便，通过笔芯缩回的方法更是影响书写的流畅度。姿态矫正板是一种放置在课桌上的调节板，用于调整前胸、下巴和课桌的距离。姿态矫正支架是一种固定在课桌边沿的可调节支架，可通过调整下巴与课桌的高度来规范写字姿态。姿态矫正板和矫正支架都有体积庞大、不方便携带、影响舒适度的缺点。

综上所述，现有的写字姿态监测产品都是通过对笔和课桌进行改造来防止使用者眼睛离桌面太近，影响使用者的舒适度，只能单一地监测眼睛和课桌的距离，无法监测其他错误写字姿态。

发明内容

为了解决现有技术中的上述问题，即传统方法只能单一监测眼睛和课桌距离，无法在不影响书写体验的前提下监测其他错误写字姿态的问题，本发明提供了一种基于双目相机的写字姿态监测方法，包括：

步骤S10，获取双目相机采集的坐姿图像对，作为输入图像；所述坐姿图像对包括左目相机采集的第一坐姿图像、右目相机采集的第二坐姿图像；

步骤S20，采用姿态估计网络对所述第一坐姿图像进行二维姿态估计，获得二维骨架点坐标信息；所述姿态估计网络基于深度神经网络构建；

步骤S30，依据所述坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点坐标信息获得三维骨架点坐标信息；

步骤S40，基于预设的骨架点状态-姿态类别对应关系，依据所述三维骨架点坐标信息与正确坐姿骨架点坐标信息、所述坐姿图像对的深度信息和预设的正确坐姿图像的深度信息，获得所述坐姿图像对所属姿态类别；所述骨架点状态-姿态类别对应关系包括姿态类别、与姿态类别对应三维骨架点位置特征及与正确坐姿骨架点位置的差异特征。

在一些优选的实施例中，步骤S20中“采用姿态估计网络对所述第一坐姿图像进行二维姿态估计，获得二维骨架点坐标信息”，其步骤为：

步骤S21，选择现有人体姿态数据库训练人体姿态估计网络，获得训练好的人体姿态估计网络；所述人体姿态估计网络为基于深度神经网络构建的用于提取骨架点信息的网络；

步骤S22，采用训练好的人体姿态估计网络计算所述左坐姿图像的骨架点位置坐标，获得二维骨架点坐标信息。

所述步骤S20中仅估计对于写字姿态分析有用的12个骨架点，使用到的骨架点为：左眼、右眼、左耳、右耳、鼻子、颈点、左肩、右肩、左手肘、右手肘、左手腕和右手腕。

在一些优选的实施例中，步骤S30中“依据所述坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点坐标信息获得三维骨架点坐标信息”，其步骤为：

步骤S31，标定双目相机，获取双目相机的内外参数和左目相机与右目相机相对位置；使用基于灰度图的块匹配算法对所述第一坐姿图像、第二坐姿图像进行立体匹配，得到视差图；

步骤S32，根据所述视差图中像素的视差值和所述双目相机的内外参数重建像素点对应的三维坐标，获得三维骨架点坐标信息。

双目重建是基于双目立体视觉的三维表面重建技术，其包括以下几个重要步骤：图像获取、相机标定、立体矫正、立体匹配和三维重建。其中像机标定和立体匹配是最为关键的部分，相机标定和立体匹配的精度直接影响三维重建精度。

在一些优选的实施例中，步骤S40中“获得所述坐姿图像对所属姿态类别”还包括：

当前帧骨架点存在严重遮挡或重建误差较大时，结合前一帧坐姿图像对的姿态类别，判断当前帧坐姿图像对所属的姿态类别。

该步骤通过对三维骨架各骨架点之间的相对位置、各骨架点相对桌面的位置、各关节点相对相机的位置以及三维骨架与标准的写字姿态骨架的相对位置进行分析，从而实现对三维骨架进行写字姿态分类。

在一些优选的实施例中，所述姿态类别，具体包括：

正确姿态、低头、头左歪、头右歪、高低肩、左侧身、右侧身、转身、趴着、撑手、站着和离开。

本发明的另一方面，提出了一种基于双目相机的写字姿态监测方法，包括：

获取坐姿图像对，作为输入图像；

采用上述基于双目相机的写字姿态监测方法的步骤S20-S40对所述坐姿图像对处理，获得所述坐姿图像对所属姿态类别；

判断所述正确姿态是否存储，未存储则保存所述正确姿态。

本发明的第三方面，提出了一种基于双目相机的写字姿态监测系统，包括图像获取模块、二维骨架点提取模块、三维骨架点重建模块、姿态分析模块；

所述图像获取模块，配置为获取左目相机采集的第一坐姿图像、右目相机采集的第二坐姿图像构成的坐姿图像对，作为输入图像；

所述二维骨架点提取模块，配置为采用姿态估计网络对所述第一坐姿图像进行二维姿态估计，获得二维骨架点坐标信息；

所述三维骨架点重建模块，配置为依据所述坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点坐标信息获得三维骨架点坐标信息；

所述姿态分析模块，配置为基于预设的骨架点状态-姿态类别对应关系，获得所述坐姿图像对所属姿态类别。

本发明的第四方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双目相机的写字姿态监测方法。

本发明的第五方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双目相机的写字姿态监测方法。

本发明的有益效果：

(1)本发明方法可以详细分析使用者的多种写字姿态，具体包括正确姿态、低头、头左歪、头右歪、高低肩、左侧身、右侧身、转身、趴着、撑手、站着和离开共12种姿态。

(2)本发明方法可以基于写字姿态的识别结果做更多实用的扩展，例如根据保持正确姿态的时间统计使用者的有效学习时长；根据统计的学习时长对使用者进行休息提示。

(3)本发明采用放置在使用者正前方的双目相机作为传感器，与使用者不接触，不妨碍使用者书写的舒适度，具有良好的用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于双目相机的写字姿态监测方法的系统流程示意图；

图2是本发明基于双目相机的写字姿态监测方法一种实施例的相机与使用者的位置关系示例图；

图3是本发明基于双目相机的写字姿态监测方法一种实施例的双目重建结果示例图；

图4是本发明基于双目相机的写字姿态监测方法一种实施例的写字姿态分析算法流程示意图；

图5是本发明基于双目相机的写字姿态监测方法一种实施例的一组测试结果示例图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于双目相机的写字姿态监测方法，不同于现有传统方法的姿态提示笔、姿态矫正板、姿态矫正支架，本方法不影响使用者的舒适度，并且不仅仅监测眼睛和课桌的距离，还可以详细分析使用者的多种写字姿态。

本发明的一种基于双目相机的写字姿态监测方法，包括：

为了更清晰地对本发明基于双目相机的写字姿态监测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于双目相机的写字姿态监测方法，包括步骤S10-步骤S40，各步骤详细描述如下：

步骤S10，获取双目相机采集的坐姿图像对，作为输入图像；所述坐姿图像对包括左目相机采集的第一坐姿图像、右目相机采集的第二坐姿图像。

本发明优选的实施例中，采用双目相机采集坐姿信息，双目相机是模仿人类的双眼而设计的相机，两个摄像头同步获取当前场景图像。由于摄像头之间存在一定距离，因此两幅图像存在视差，在双目相机参数已知的情况下，可以通过视差值恢复场景的三维信息。

如图2左图所示，本发明的双目相机要求放置在使用者的正前方，与使用者的距离应设置为让相机能够完全捕获使用者上半身为宜。此外要求双目相机的视线与桌面平行，如此可以在桌面水平和倾斜的情况下都能准确获得使用者各关节点距离桌面的高度。

如图2中间图所示，桌面水平时，眼睛距离桌面的高度如式(1)所示：

H＝|y_e+h| 式(1)

其中，H其中为眼睛距离桌面的高度，y_e为眼睛点在相机坐标系OXYZ下的三维位置坐标的Y坐标值，h为相机坐标系原点O距离桌面的高度。

如图2右图表示，当桌面倾斜时，双目相机的视线依然与桌面平行，眼睛距离桌面的高度依然满足式(1)。

步骤S20，采用姿态估计网络对所述第一坐姿图像进行二维姿态估计，获得二维骨架点坐标信息；所述姿态估计网络基于深度神经网络构建。

步骤S21，选择现有人体姿态数据库训练人体姿态估计网络，获得训练好的人体姿态估计网络；所述人体姿态估计网络为基于深度神经网络构建的用于提取骨架点信息的网络。

随着深度学习的发展，基于深度卷积神经网络的二维人体姿态估计得到广泛的研究，各种网络模型相继提出，算法的性能也大幅提高。基于深度学习的二维人体姿态估计分为单人姿态估计和多人姿态估计，其中单人姿态估计最经典有效的网络为堆叠沙漏网络，多人姿态估计最经典有效的网络是OpenPose。由于本发明只要估计使用者的姿态，因此单人姿态估计网络和多人姿态估计网络都可以实现本发明所需的功能。为简单起见，本发明优选的实施例采用了用于单人姿态估计任务的堆叠沙漏网络来对使用者进行二维人体姿态估计。为了使本发明的算法可以部署在计算能力较弱的嵌入式平台，采用Mobilenet的压缩策略对堆叠沙漏网络进行压缩，用训练后的网络来估计第一坐姿图像中使用者的二维姿态。

对于基于深度学习的人体姿态估计任务，有几个公开的人体姿态数据库，例如LSP，MPII，MSCOCO。其中LSP和MPII人体姿态数据库标注了15个关节点，MSCOCO标注了18个关节点比LSP和MPII多标注了眼睛和耳朵。因为眼睛的位置对写字姿态分析起到关键的作用，因此本发明优选的实施例使用MSCOCO人体姿态数据库进行训练。MSCOCO是一个多人姿态数据库，为了训练我们的单人姿态估计网络，采用自上而下的方式将多人姿态估计任务分解成多个单人姿态估计任务，无需估计所有的18个骨架点，仅估计对于写字姿态分析有用的12个骨架点，使用到的骨架点为：左眼、右眼、左耳、右耳、鼻子、颈点、左肩、右肩、左手肘、右手肘、左手腕和右手腕。

步骤S30，依据所述坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点坐标信息获得三维骨架点坐标信息。

步骤S31，标定双目相机，获取双目相机的内外参数和左目相机与右目相机相对位置；使用基于灰度图的块匹配算法对所述第一坐姿图像、第二坐姿图像进行立体匹配，得到视差图。

本发明优选的实施例使用了张正友平面棋盘格标定法来标定双目相机，获得左目相机和右目相机的内外参数和相对位置参数。对于立体匹配，我们使用基于灰度图的块匹配算法对左右图像对进行立体匹配，得到视差图。根据像素点的视差值和相机的参数可以恢复该像素点对应的三维坐标。

如图3所示，为本发明实施例的三维重建结果，图3左上图和中上图分别为左目相机获得的第一图像和右目相机获取的第二图像，图3左下图和中下图分别为第一图像和第二图像立体矫正后的结果，图3右上图为立体匹配得到的视差图，图3右下图为三维重建获得的点云，从图3右上图可以看出人体区域的大部分像素点都得到了正确的视差值，但是在人体对应的区域也存在小部分黑斑，这部分黑斑区域是由于立体匹配失败使其视差值为0导致的。因此根据姿态估计得到的关节点像素坐标很有可能落在黑斑区域，直接取这个像素点对应的三维坐标会得到错误的结果。为了减少得到的关节点三维坐标错误的概率，我们取以该点为中心边长为m个像素的正方形内所有像素点对应的可靠三维坐标的平均值作为该点的三维坐标，剔除视差值为0的点。

步骤S40，基于预设的骨架点状态-姿态类别对应关系，依据所述三维骨架点坐标信息与正确坐姿骨架点坐标信息、所述坐姿图像对的深度信息和预设的正确坐姿图像的深度信息，获得所述坐姿图像对所属姿态类别；所述骨架点状态-姿态类别对应关系包括姿态类别、与姿态类别对应三维骨架点位置特征及与正确坐姿骨架点位置的差异特征。。

在上述步骤S40中，对姿态进行分类的过程经常用到正确姿态的信息，在程序中，我们会根据先验知识给定一个标准正确姿态各关节点的位置信息，考虑到使用者的身高差别，程序会在开始时要求使用者做一个标准的正确姿态，并将此坐姿信息进行存储，更新原有的先验信息。

所述姿态类别，具体包括：

在监测过程中所利用的12个骨架节点有可能不可见或关节点可见但重建错误，导致骨架节点不可见的原因有：1)在一些姿态下，某些关节点本身不可见；2)图像上关节点可见，但姿态估计网络没有估计出其位置。在关节点不可见或关节点重建错误的情况下，不能使用相对位置来进行分析，需要特殊考虑。

由于基于灰度图的立体匹配算法对黑色的头发区域匹配失败，导致头发区域重建失败的时候，趴着和转身两种姿态区分度不高，在程序中记录历史帧的姿态信息，当关骨架点存在严重遮挡不可见或重建错误区域较大时，仅凭当前帧的信息难以准确判断姿态类型，此时算法将借助历史帧的姿态信息来帮助推测当前帧的姿态类型。如当历史姿态为低头时，当前姿态为趴着；当历史姿态为侧身时，当前姿态为转身。

判断图上方有没有人的方法为：分别计算图像上方与正确坐姿图像头部区域对应区域以及正确坐姿图像头部区域的平均深度，若计算结果为平均深度之间的差值的绝对值小于预设阈值，则图上方有人，否则图上方无人。

判断图下方有没有人的方法为：分别计算图像下方与正确坐姿图像底部区域对应区域以及正确坐姿图像底部区域的平均深度，若计算结果为平均深度之间的差值的绝对值小于预设阈值，则图下方有人，否则图下方无人。

平均深度根据双目表面重建结果计算获得，为一个区域的像素点三维坐标的z坐标值的平均值。

L、θ₁、θ₂、θ₃、θ₄、θ₅、θ₆、θ₇、θ₈、θ₉分别为根据预设的正确姿态计算出来的预设阈值，可以根据识别的具体情况进行微调整。

如图4所示的流程图中，姿态判别因素包括：①有可见关节点；②图下方有人；③图上方有人；④关节点都重建错误；⑤关节点平均深度超过L；⑥眼睛都不可见；⑦肩颈可见；⑧肩颈高度比正确坐姿高θ₁；⑨耳鼻比肩颈高θ₂；⑩耳鼻比肩颈低；

肩上方θ₃处有人；

手肘比正确坐姿高θ₄；

只有一只眼可见；

眼比肩高θ₅；

眼比肩低；

手腕比肩高；

眼睛高度低于θ₆；

头倾角大于θ₇；

肩高低倾角大于θ₈；

斜肩倾角大于θ₉。

姿态为“离开”的判别条件为：“条件①否②否”，或者“条件①是④是②否”，或者“条件①是④否⑤是”。

姿态为“趴着”的判别条件为：“条件①否②是③否”，或者“条件①是④是②是③否”，或者“条件①是④否⑤否⑥是⑦是⑧否⑨否⑩是”，或者“条件①是④否⑤否⑥是⑦是⑧否⑨否⑩否

否”，或者“条件①是④否⑤否⑥是⑦否

否③否”，或者“条件①是④否⑤否⑥否⑧否

是

否”，或者“条件①是④否⑤否⑥否⑧否

否

是”。

姿态为“站着”的判别条件为：“条件①否②是③是”，或者“①是④是②是③是”，或者“条件①是④否⑤否⑥是⑦是⑧是”，或者“条件①是④否⑤否⑥是⑦否

是”，或者“条件①是④否⑤否⑥是⑦否

否③是”，或者“条件①是④否⑤否⑥否⑧是”。

姿态为“转身”的判别条件为：“条件①是④否⑤否⑥是⑦是⑧否⑨是”，或者“条件①是④否⑤否⑥是⑦是⑧否⑨否⑩否

是”，或者“条件①是④否⑤否⑥否⑧否

是

是”。

姿态为“撑手”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

是”。

姿态为“低头”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

否

是”。

姿态为“头左歪、头右歪”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

否

否

是”。

姿态为“高低肩”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

否

否

否

是”。

姿态为“左侧身、右侧身”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

否

否

否

否

是”。

“正确姿态”的判别条件为：“条件①是④否⑤否⑥否⑧否

否

否

否

否

否

否

否”。

如图5所示，为本发明优选实施例的监测结果，图中绘制了姿态估计的结果，图左上方为写字姿态的分类结果，可以看出本发明能很好的区分正确姿态、低头、头左歪、头右歪、高低肩、左侧身、右侧身、转身、趴着、撑手、站着和离开这12种姿态。

本发明第二实施例的基于双目相机的写字姿态监测方法，包括：

获取坐姿图像对，作为输入图像；

判断所述正确姿态信息是否存储，未存储则保存所述正确姿态信息。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的第三实施例的基于双目相机的写字姿态监测方法的步骤S20-步骤S40的具体工作过程及有关说明，可以参考前述第一实施例的基于双目相机的写字姿态监测方法步骤对应过程，在此不再赘述。

本发明第三实施例的基于双目相机的写字姿态监测系统，包括图像获取模块、二维骨架点提取模块、三维骨架点重建模块、姿态分析模块；

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于双目相机的写字姿态监测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于双目相机的写字姿态监测方法。

本发明第五实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于双目相机的写字姿态监测方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims

1.一种基于双目相机的写字姿态监测方法，其特征在于，包括：

步骤S20，采用姿态估计网络对所述第一坐姿图像进行二维姿态估计，获得二维骨架点坐标信息；所述姿态估计网络基于堆叠沙漏深度神经网络构建；

步骤S30，依据所述坐姿图像对，采用双目重建技术进行坐姿三维表面重建，并结合所述二维骨架点坐标信息获得三维骨架点坐标信息：

标定双目相机，获取双目相机的内外参数和左目相机与右目相机相对位置；使用基于灰度图的块匹配算法对所述第一坐姿图像、第二坐姿图像进行立体匹配，得到视差图；

根据所述视差图中像素的视差值和所述双目相机的内外参数重建像素点对应的三维坐标，获得三维骨架点坐标信息，以视差值为0的二维骨架点为中心，边长为m个像素的正方形内所有像素点对应的三维坐标的平均值作为当前视差值为0的二维骨架点的三维坐标，获得错误坐标消除后的三维骨架点坐标信息；

步骤S40，基于预设的骨架点状态-姿态类别对应关系，依据所述三维骨架点坐标信息与正确坐姿骨架点坐标信息、所述坐姿图像对的深度信息和预设的正确坐姿图像的深度信息，获得所述坐姿图像对所属姿态类别；所述骨架点状态-姿态类别对应关系包括姿态类别、与姿态类别对应三维骨架点位置特征及与正确坐姿骨架点位置的差异特征；

所述姿态类别包括：正确姿态、低头、头左歪、头右歪、高低肩、左侧身、右侧身、转身、趴着、撑手、站着和离开；

所述姿态类别的判别因素包括：①有可见关节点；②图下方有人；③图上方有人；④关节点都重建错误；⑤关节点平均深度超过L；⑥眼睛都不可见；⑦肩颈可见；⑧肩颈高度比正确坐姿高θ₁；⑨耳鼻比肩颈高θ₂；⑩耳鼻比肩颈低；