CN112990137B

CN112990137B - 一种基于模板匹配的教室学生坐姿分析方法

Info

Publication number: CN112990137B
Application number: CN202110471481.4A
Authority: CN
Inventors: 涂丹; 徐新文; 朱为; 谢志恒; 胡青霞; 王涛; 徐东
Original assignee: CHANGSHA PENGYANG INFORMATION TECHNOLOGY CO LTD
Current assignee: CHANGSHA PENGYANG INFORMATION TECHNOLOGY CO LTD
Priority date: 2021-04-29
Filing date: 2021-04-29
Publication date: 2021-09-21
Anticipated expiration: 2041-04-29
Also published as: CN112990137A

Abstract

本发明公开了一种基于模板匹配的教室学生坐姿分析方法，包括输入多路视频监控图像；识别出图像中每个学生的身份信息；对检测到的每个学生进行人体姿态估计；制定学生坐姿模板库；对每张学生的坐姿图像，进行坐姿模板匹配，识别出每个学生的坐姿类别。本发明通过在教室设置多台摄像机获得多路视频监控图像，并通过自动化分析手段，自主无感监控教室学生的坐姿，进行智能分析，具有重要的作用。通过采集学生坐姿、举手、站立等课堂行为，就可以进行学习状态、课堂有效性、学习兴趣等相关性研究。

Description

一种基于模板匹配的教室学生坐姿分析方法

技术领域

本发明涉及图像分析技术领域，特别地，涉及一种基于模板匹配的教室学生坐姿分析方法。

背景技术

正确的坐姿和执笔姿势是书写质量的保证，虽然课堂上每位老师都在讲解与强调“双姿”，然而，只要走进任何一间教室，就会发现有不少孩子都存在错误的书写姿势：有的低着头，快靠近了笔尖，或把头歪在一边；有的整个屁股坐在凳子上，身体弯曲得像虾，趴着在写字等等。这些错误的书写姿势致使写出的字歪歪斜斜，字迹潦草，笔画僵硬呆板，严重影响了写字质量和写字速度，还容易造成近视、驼背、手指变形等后果，影响小学生的成长发育，危害身心健康。如果得不到及时纠正，将会延续下去，直至成年。因此，纠正学生错误的书写姿势尤其重要！

现有的很多学生姿态纠正技术方案，很多都是基于传感器实现的，例如红外、压力、加速度、超声波等传感器。例如，采用红外传感器和超声波传感器，监测用户头部与书桌的距离来判断坐姿是否正确；或是通过安装在椅子上的压力传感器判断人体坐姿是否倾斜。传感器需要进行安装或者让用户进行佩戴，这不仅会让用户感到不适，而且安装使用麻烦、成本较高，存在很多局限性。

另外，通过图像分析进行坐姿判断，也是一种可能的方式。目前，通过图像进行坐姿监测的研究相对来说还比较少，还处于初步探索阶段。我们可以通过利用计算机视觉技术和机器学习等技术，在教室中自动分析判别学生的姿态坐姿，可以有效地提醒学生坐姿是否规范，同时也方便教师和家长及时掌握帮助孩子纠正坐姿，进而促进学生养成良好的坐姿习惯。最后，利用学生的坐姿分析，采集学生坐姿、举手、站立、打哈欠等课堂行为，还可以对学生进行学习状态、课堂有效性、学习兴趣等相关性研究。

发明内容

本发明的目的在于提供一种基于模板匹配的教室学生坐姿分析方法，以解决背景技术中提出的问题。

为实现上述目的，本发明提供了一种基于模板匹配的教室学生坐姿分析方法，包括以下步骤：

步骤S1、输入多路视频监控图像：在教室内布置多台摄像机，多台摄像机分别以一定角度俯拍学生，并能够捕捉到学生的正面坐姿状态；每台摄像机用于捕捉一定区域的学生；

步骤S2、识别出监控图像中每个学生的身份信息；

步骤S3、对检测到的每个学生进行人体姿态估计；

步骤S4、制定学生坐姿模板库：由用户选定某张学生标准坐姿图像，将所选学生标准坐姿图像当作某种姿态的标准模板，通过openpose算法自动提取出该所选学生标准坐姿图像中的关键骨骼点信息，并将所提取到的关键骨骼点信息作为该姿态的模板，添加相应姿态的类别标签，加入坐姿模板库中；

步骤S5、对步骤S1中获取的每张学生的监控图像中的坐姿与学生坐姿模板库进行坐姿模板匹配，识别出每个学生的坐姿类别。

进一步的，若经过步骤S5的坐姿模板匹配后，若存在一张监控图像中的学生坐姿与多个坐姿模板匹配的情况下，则所述教室学生坐姿分析方法还包括以下步骤：

步骤S6、将该张监控图像与所有与之匹配的坐姿模板一一进行全局距离和局部最大距离比较，并将全局距离和局部最大距离之和最小的模板作为最终匹配的模板。

进一步的，所述步骤S1中，多台摄像机设置在教室的顶部，所述摄像机为高清球机或枪机，每台摄像机均通过有线或无线连接到用于后台处理分析的计算设备上。

进一步的，所述步骤S2中，对监控图像中每个学生的身份信息进行识别的具体方法为：对每个学生进行人脸识别，并将人脸识别结果与后台数据库进行对比，识别出每个学生的身份信息。

进一步的，所述步骤S3中，采用openpose算法对监控图像中学生的18个关键骨骼点进行检测。

进一步的，所述步骤S4中，同一种姿态根据摄像角度和学生年龄设置多个模板。

进一步的，所述步骤S5中，识别学生坐姿类别的具体步骤为：

1)关键骨骼点归一化：首先将从监控图像中提取的关键骨骼点与姿态模板中的关键骨骼点进行归一化处理，其方法为，分别计算模板姿态和监控图像中学生姿态的左右肩之间的距离之比率，并将学生姿态图像进行等比例缩放，即保证模板姿态和学生姿态在同一个尺度上；

2)全局距离校验：将捕捉到的学生关键骨骼点信息与后台数据库中存储的所有的姿态模板进行匹配，计算所有关键骨骼点对之间的全局距离D；如果全局距离小于指定好的阈值，则进行下一步局部最大距离校验，否则，则认为与该模板不匹配；

3)局部最大距离校验：计算关键骨骼点对(a_i，a_j)的局部最大距离d，如果局部最大距离d小于指定的阈值，则认为两个姿态之间相似度可以接受，进行下一步匹配关系校验，否则，则认为与该模板不匹配；

4)匹配关系校验：对人体姿态的某些相邻连接关键骨骼点之间的距离进行度量，其中，某些相邻连接关键骨骼点包括每个姿态的左肩-脖子对应的相邻连接关键骨骼点、脖子-右肩对应的相邻连接关键骨骼点、左肩-左肘对应的相邻连接关键骨骼点以及右肩-右肘对应的相邻连接关键骨骼点，验证这些相邻关键骨骼点之间的距离是否超过规定阈值；若没有超过阈值，则认为姿态匹配，否则，则匹配失败。

进一步的，假设学生关键骨骼点为a_i＝(x_i，y_i)，i＝1，2，...，n，n表示关键骨骼点的个数，(x_i，y_i)表示每个关键骨骼点的坐标位置；姿态模板的关键骨骼点为a_j＝(x_j，y_j)，j＝1，2，...，n；则全局距离D可表示如下式：

进一步的，关键骨骼点对(a_i，a_j)的局部最大距离d可表示如下式：

相比于现有技术，本发明具有以下有益效果：

本发明的一种基于模板匹配的学生坐姿分析方法，通过在教室设置多台摄像机获得多路视频监控图像，并通过自动化分析手段，自主无感监控教室学生的坐姿，进行智能分析，具有重要的作用。通过采集学生坐姿、举手、站立等课堂行为，就可以进行学习状态、课堂有效性、学习兴趣等相关性研究。

本发明的具体实际运用效果包括但不限于，自动无感分析学生坐姿，为每位学生提供坐姿姿势记录和智能分析建议，方便家长与教师进行相对应的姿势纠正；利用学生课堂坐姿表现，进行更高级的每个学生的学习注意力、学习兴趣智能分析；对全班学生的姿态变化统计，提供课程整体学习效果的评估等。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明本发明一种基于模板匹配的教室学生坐姿分析方法的流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

请参见图1，本实施例提供一种基于模板匹配的教室学生坐姿分析方法，包括以下步骤：

步骤1、输入多路视频监控图像：在教室内顶部布置多台摄像机，摄像机为高清球机或枪机等，每个摄像机从顶部以一定角度俯拍学生，拍摄角度要满足能够捕捉到学生正面坐姿状态，每台摄像机用来捕捉一定区域的学生；每台摄像机均通过有线或无线连接到后台处理分析的计算设备上。

步骤2、针对获得的每帧图像，识别出图中每个学生的身份信息；具体方法为：对每个学生进行人脸识别，并将脸识别结果与后台数据库进行对比，识别出每个学生的身份信息。后台数据库中记录了每个学生的正面上下左右中至少5张图像。

步骤3、对检测到的每个学生进行人体姿态估计；具体为基于关键骨骼点检测、人体姿态估计等行为识别技术，例如采用openpose算法对学生的18个关键骨骼点进行检测，识别出人体头部、躯干以及四肢关键节点。

步骤4、制定学生坐姿模板库：由用户选定某张学生标准坐姿图像，将所选学生标准坐姿图像当作某种姿态的标准模板，通过openpose算法自动提取出该所选学生标准坐姿图像中的关键骨骼点信息，并将所提取到的关键骨骼点信息存储下来作为该姿态的模板，添加相应姿态的类别标签，加入坐姿模板库中。其中，同一种姿态根据摄像角度和学生年龄设置多个模板。

步骤5、对步骤S1中获取的每张学生的监控图像中的坐姿与学生坐姿模板库进行坐姿模板匹配，识别出每个学生的坐姿类别。具体步骤为：

2)全局距离校验：将捕捉到的学生关键骨骼点信息，与后台数据库中存储的所有的姿态模板进行匹配，计算所有关键骨骼点对之间的全局距离D；假设学生关键骨骼点为a_i＝(x_i，y_i)，i＝1，2，...，n，n表示关键骨骼点的个数，(x_i，y_i)表示每个关键骨骼点的坐标位置；相应的，姿态模板的关键骨骼点为a_j＝(x_j，y_j)，j＝1，2，...，n；则全局距离D可表示如下式：

该步骤中，如果全局距离小于指定好的阈值，则进行下一步局部最大距离校验，否则，则认为与该模板不匹配。另外，每个关键骨骼点对(a_i，a_j)的距离还可以采用其他距离度量，例如马氏距离、曼哈顿距离等。

3)局部最大距离校验：计算关键骨骼点对(a_i，a_j)的局部最大距离d，如下式：

该步骤中，如果局部最大距离d小于指定的阈值，则认为学生姿态与模板姿态之间相似度可以接受，进行下一步匹配关系校验，否则，则认为与该模板不匹配。

4)匹配关系校验：对人体姿态的某些相邻连接关键骨骼点之间的距离进行度量，例如对每个姿态的左肩-脖子，脖子-右肩，左肩-左肘，右肩-右肘等，验证这些相邻关键骨骼点之间的距离是否超过规定阈值。若没有超过阈值，则认为姿态匹配，否则，则匹配失败。

在本发明较佳的实施例中，若经过步骤5的模板匹配后，若存在一张监控图像中的学生坐姿与多个坐姿模板匹配的情况下，则教室学生坐姿分析方法还包括：

步骤6、将该张监控图像与所有与之匹配的坐姿模板一一进行全局距离和局部最大距离比较，并将全局距离和局部最大距离之和最小的模板作为最终匹配的模板，进而识别出每个学生的坐姿类别。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于模板匹配的教室学生坐姿分析方法，其特征在于，包括以下步骤：

步骤S2、识别出监控图像中每个学生的身份信息；

步骤S3、对检测到的每个学生进行人体姿态估计；

步骤S5、对步骤S1中获取的每张学生的监控图像中的坐姿与学生坐姿模板库进行坐姿模板匹配，识别出每个学生的坐姿类别；其中，识别学生坐姿类别的具体步骤为：

4)匹配关系校验：对人体姿态的某些相邻连接关键骨骼点之间的距离进行度量，其中，某些相邻连接关键骨骼点包括每个姿态的左肩-脖子对应的相邻连接关键骨骼点、脖子-右肩对应的相邻连接关键骨骼点、左肩-左肘对应的相邻连接关键骨骼点以及右肩-右肘对应的相邻连接关键骨骼点，验证这些相邻关键骨骼点之间的距离是否超过规定阈值；若没有超过阈值，则认为姿态匹配，否则，则匹配失败；

假设学生关键骨骼点为a_i＝(x_i，y_i)，i＝1，2，...，n，n表示关键骨骼点的个数，(x_i，y_i)表示每个关键骨骼点的坐标位置；姿态模板的关键骨骼点为a_j＝(x_j，y_j)，j＝1，2，...，n；则全局距离D可表示如下式：

关键骨骼点对(a_i，a_j)的局部最大距离d可表示如下式：

2.根据权利要求1所述的教室学生坐姿分析方法，其特征在于，若经过步骤S5的坐姿模板匹配后，若存在一张监控图像中的学生坐姿与多个坐姿模板匹配的情况下，则所述教室学生坐姿分析方法还包括以下步骤：

3.根据权利要求1所述的教室学生坐姿分析方法，其特征在于，所述步骤S1中，多台摄像机设置在教室的顶部，所述摄像机为高清球机或枪机，每台摄像机均通过有线或无线连接到用于后台处理分析的计算设备上。

4.根据权利要求1所述的教室学生坐姿分析方法，其特征在于，所述步骤S2中，对监控图像中每个学生的身份信息进行识别的具体方法为：对每个学生进行人脸识别，并将人脸识别结果与后台数据库进行对比，识别出每个学生的身份信息。

5.根据权利要求1所述的教室学生坐姿分析方法，其特征在于，所述步骤S3中，采用openpose算法对监控图像中学生的18个关键骨骼点进行检测。

6.根据权利要求1所述的教室学生坐姿分析方法，其特征在于，所述步骤S4中，同一种姿态根据摄像角度和学生年龄设置多个模板。