CN115471773B - 一种面向智慧教室的学生跟踪方法及系统 - Google Patents

Abstract

本申请公开了一种面向智慧教室的学生跟踪方法及系统，包括获取教室视频信息；基于所述视频信息，通过目标检测方法获取学生位置边界框；基于所述学生位置边界框，构建两个高斯概率分布函数；基于所述学生位置边界框，通过IOU对比方法比较面积大小；基于所述面积比较结果，对所述高斯概率分布函数作积分，判断是否属于同一个学生。通过目标检测方法检测出每个学生在图像中的位置，然后基于每个学生的边界框的中心坐标和宽高构建高斯概率分布函数，然后通过计算IOU值和对高斯概率函数的积分判断两边界框是否属于同一个学生实现到学生定位的功能。通过使用本发明的方法，联合使用其他深度学习算法，可实现对学生听课状态的持续记录和跟踪。

Description

一种面向智慧教室的学生跟踪方法及系统

技术领域

本申请属于教学领域，具体涉及一种面向智慧教室的学生跟踪方法及系统。

背景技术

由于教室场景下学生人数多，边缘轮廓复杂，现有的基于光流跟踪的学生定位方法存在受干扰严重的问题，其次光流跟踪的方法自身也存在着孔径问题和光滑平面上光流梯度为0的问题。

同时对于教室中的学生的定位方法是解决学生上课状态分析的重要步骤，对于教室中的任一个学生，状态分析模型仅能够输出图像中某位置的学生处于何种听课状态，此时就需要所提出的学生定位方法将某个学生在一节课中的所有状态联合起来，用于课后的学生专注度分析。

发明内容

本申请提出了一种面向智慧教室的学生跟踪方法及系统，判断视频中目标框的所属学生，然后可以将该学生在一节课中的所有听课状态联合起来对该学生做整体的状态评估。

为实现上述目的，本申请提供了如下方案：

一种面向智慧教室的学生跟踪方法，包括以下步骤：

获取教室视频信息；

基于所述视频信息，通过目标检测方法获取学生位置边界框；

基于所述学生位置边界框，构建两个高斯概率分布函数；

基于所述学生位置边界框，通过IOU对比方法比较面积大小；

基于所述面积比较结果，对所述高斯概率分布函数作积分，判断是否属于同一个学生。

优选的，所述的目标检测方法为YOLOv5，通过YOLOv5方法逐帧的检测教室中每个学生的位置。

优选的，所述构建高斯概率分布函数的方法包括：基于边界框在图像中的位置信息构建出两个高斯分布函数，用于计算两个边界框属于同一个目标的概率。

优选的，所述位置信息包括：边界框的中心坐标、宽和高。

优选的，所述通过IOU对比方法比较面积大小的方法包括：计算两个边界框的IOU值并与设定的IOU的阈值进行比较判断是否属于同一目标。

优选的，所述IOU值为两个边界框交集部分面积与并集部分面积之比。

优选的，对所述高斯概率分布函数作积分的方法包括：对边界框的左右和上下分别选取坐标作高斯概率函数积分，然后将两数值相乘。

优选的，对已知的边界框，保存其在图像中的中心坐标、宽、高和高斯概率分布函数。

一种面向智慧教室的学生跟踪系统，包括信息模块、目标检测模块、高斯函数模块、IOU计算模块、积分模块；

所述信息模块用于获取教室的视频信息；

所述目标检测模块用于检测教室中学生的位置信息；

所述高斯函数模块用于将所述目标检测模块检测到的学生位置信息构建高斯分布函数；

所述IOU计算模块用于将所述目标检测模块检测到的边界框进行交集部分面积与并集部分面积之比；

所述积分模块用于根据所述IOU计算模块的面积比较结果作高斯分布函数积分。

本申请的有益效果为：

本申请公开了一种面向智慧教室的学生跟踪方法及系统，本申请是基于目标检测网络运行的，会在目标检测的基础上对每一个目标框分配一个id，同一目标在不同帧里的id相同，检测便可以得到每个学生的上课状态，其中，标定视频帧中每个学生的目标框，判断视频中目标框的所属学生，然后可以将该学生在一节课中的所有听课状态联合起来对该学生做整体的状态评估。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一的一种面向智慧教室的学生跟踪方法流程示意图；

图2为本申请实施例一的已知学生的目标框和计算的IOU值的示意图；

图3为本申请实施例一的已知学生的目标框和高斯概率分布计算的示意图；

图4为本申请实施例二的一种面向智慧教室的学生跟踪系统流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

如图1所示，为本申请实施例的一种面向智慧教室的学生跟踪方法流程示意图，包括以下步骤：

获取教室视频信息；

通过VideoCapture方法采集摄像头视频数据，摄像头的位置位于黑板中央的正上方，视频分辨率为1920*1080，VideoCapture方法所读取出的视频数据为可迭代ndarray对象，每次迭代取出当前画面；

基于所述视频信息，通过目标检测方法获取学生位置边界框；将第一步读取出的ndarray对象输入YOLOv5目标检测算法，输出每个学生的边界框，具体为边界框的中心点x，y和宽高w，h，具体得出公式如下所示：

(x_i，y_i，w_i，h_i)＝YOLOv5(frame)[i]

0≤i≤学生数量

其中[i]表示当前视频帧中的第i个目标；

此时的YOLOv5算法模型需要基于预训练模型针对课堂场景学生进行重新训练，其中数据标注方法为仅标注高于课桌部分的学生图像；

通过YOLOv5目标检测算法逐帧的检测教室中每个学生的位置，该方法将连续帧之间的边界框关联起来，属于同一个目标的所有目标框将会分配同样的id，便于对学生的监督管理；

对于每一帧图像返回每个边界框的中心点坐标和宽高；输出边界框。连续的读取摄像头的视频帧，每一帧图像均可检测出每个学生在图像中的位置，其数据传输格式为一个二位列表，第一维列表长度是画面中学生的个数，每一个元素都是另一个列表，其中存储的是学生在图像中的位置。

基于所述学生位置边界框，构建两个高斯概率分布函数；基于边界框在图像中的位置信息构建出两个高斯分布函数，用于计算两个边界框属于同一个目标的概率。通过一个边界框计算高斯分布的概率分布函数的计算方法为：

以边界框的中心x，y作为高斯分布函数的均值(μ)，以宽高w，h的四分之一作为高斯分布的方差(σ)，以x为均值w/4为方差构建x轴方向的概率分布函数，以y为均值h/4为方差构建y轴方向的高斯概率分布函数，即

μ₁＝x，σ₁＝w/4

μ₂＝y，σ₂＝h/4

其中，μ₁表示x方向高斯概率分布函数的均值，μ₂表示y方向高斯概率分布函数的均值，σ₁表示x轴方向的概率分布方差，σ₂表示y轴方向的概率分布方差；

并且，以μ为均值，σ为方差，构建高斯分布的计算公式如下：

基于所述学生位置边界框，通过IOU对比方法比较面积大小；IOU对比方法，该方法作用是过滤掉无相关性或相关性不大的目标框，以提升程序的运行速度。

如图2所示，对于每一帧图像，先进行学生目标检测，然后依次取出一个边界框，与已知目标的边界框计算IOU值，即若两个边界框交集部分的面积与并集部分面积之比大于0.6则认为该两边界框可能属于同一目标，若IOU值小于0.6则继续该过程，若没有已知的边界框，该步骤是程序运行之初，由于程序还没有确定的目标，于是将检测得到的第一个边界框作为一个目标，计算并保存其分布函数。在本实例中IOU计算公式如下：

其中A，B为两个待比较的边界框，x，y，w，h表示边界框的中心坐标和宽高，下标a，b表示其是A，B对应的属性。

如图3所示，基于所述面积比较结果，对高斯概率分布函数作积分，判断是否属于同一个学生。此时认为该边界框与目标的相关性较大，进而通过高斯概率分布函数计算积分判断边界框属于该已知目标的概率，其计算方法为对已知目标的高斯概率函数做积分，积分下限为检测的边界框的左边界(上边界)，积分上限为检测框的右边界(下边界)，若计算得概率大于0.8，此时认为该边界框属于所对比的目标，需要计算新的边界框的高斯概率分布函数，并且替换掉已知目标的边界框和高斯概率分布函数，否则再次计算IOU值。需要注意的是，以边界框的边界作为积分上下限对分布函数进行积分的公式为：

其中，Ph表示边界框在水平方向上属于目标的概率，P_v表示边界框在竖直方向上属于目标的概率，b_l，b_r，b_tb_b分别表示目标框的左右上下边界。

以下表为例，A，B，C，D为以确定学生的位置，下一帧图像中检测到一个学生E，首先依次计算E于，A，B，C，D的IOU值，大于等于0.6者计算对应的概率分布函数积分，其结果所示：

实施例二

如图4所示，为本申请的一种面向智慧教室的学生跟踪系统，包括信息模块、目标检测模块、高斯函数模块、IOU计算模块、积分模块；

信息模块用于获取教室的视频信息；

目标检测模块用于检测教室中学生的位置信息；

高斯函数模块用于将目标检测模块检测到的学生位置信息构建高斯分布函数；

IOU计算模块用于将目标检测模块检测到的边界框进行交集部分面积与并集部分面积之比；

积分模块用于根据IOU计算模块的面积比较结果作高斯分布函数积分。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (2)

1.一种面向智慧教室的学生跟踪方法，其特征在于，包括以下步骤：

获取教室视频信息；通过VideoCapture方法采集摄像头视频数据，摄像头的位置位于黑板中央的正上方，视频分辨率为1920*1080，VideoCapture方法所读取出的视频数据为可迭代ndarray对象，每次迭代取出当前画面；

基于所述视频信息，通过目标检测方法获取学生位置边界框；将第一步读取出的ndarray对象输入YOLOv5目标检测算法，输出每个学生的边界框，具体为边界框的中心点坐标x,y和宽高w,h，具体得出公式如下所示：

其中/>表示当前视频帧中的第/>个目标；

此时的YOLOv5算法模型需要基于预训练模型针对课堂场景学生进行重新训练，其中数据标注方法为仅标注高于课桌部分的学生图像；

通过YOLOv5目标检测算法逐帧的检测教室中每个学生的位置，将连续帧之间的边界框关联起来，属于同一个目标的所有目标框将会分配同样的id，便于对学生的监督管理；基于所述视频信息，通过目标检测方法获取学生位置边界框；对于每一帧图像返回每个边界框的中心点坐标和宽高；输出边界框；连续的读取摄像头的视频帧，每一帧图像均检测出每个学生在图像中的位置；

基于所述学生位置边界框，构建两个高斯概率分布函数；

基于所述学生位置边界框，通过IOU对比方法比较面积大小；

基于面积比较结果，对所述高斯概率分布函数作积分，判断是否属于同一个学生；

所述的目标检测方法为YOLOv5，通过YOLOv5方法逐帧的检测教室中每个学生的位置；构建高斯概率分布函数的方法包括：基于边界框在图像中的位置信息构建出两个高斯分布函数，用于计算两个边界框属于同一个目标的概率；

所述通过IOU对比方法比较面积大小的方法包括：计算两个边界框的IOU值并与设定的IOU的阈值进行比较判断是否属于同一目标；

所述IOU值为两个边界框交集部分面积与并集部分面积之比；

以边界框的中心点坐标x，y作为高斯分布函数的均值μ，以宽高w，h的四分之一作为高斯分布的方差б，以x为均值w/4为方差构建x轴方向的概率分布函数，以y为均值h/4为方差构建y轴方向的高斯概率分布函数，即，其中，μ₁表示x方向高斯概率分布函数的均值，μ₂表示y方向高斯概率分布函数的均值，б₁表示x轴方向的概率分布方差，б₂表示y轴方向的概率分布方差；并且，以μ为均值，б为方差，构建高斯分布的计算公式如下：

；

对于每一帧图像，先进行学生目标检测，然后依次取出一个边界框，与已知目标的边界框计算IOU值，即若两个边界框交集部分的面积与并集部分面积之比大于0.6则认为两边界框可能属于同一目标，若IOU值小于0.6则继续，若没有已知的边界框，表示还没有确定的目标，于是将检测得到的第一个边界框作为一个目标，计算并保存其分布函数；

IOU计算公式如下：

，

其中A，B为两个待比较的边界框，x，y，w，h表示边界框的中心坐标和宽高，下标a,b表示其是A，B对应的属性；

基于面积比较结果，对高斯概率分布函数作积分，判断是否属于同一个学生，进而通过高斯概率分布函数计算积分判断边界框属于已知目标的概率，其计算方法为对已知目标的高斯概率函数做积分，积分下限为检测的边界框的左边界以及上边界，积分上限为检测框的右边界以及下边界，若计算得概率大于0.8，此时认为边界框属于所对比的目标，需要计算新的边界框的高斯概率分布函数，并且替换掉已知目标的边界框和高斯概率分布函数,否则再次计算IOU值；以边界框的边界作为积分上下限对分布函数进行积分的公式为：

其中，/>表示边界框在水平方向上属于目标的概率，/>表示边界框在竖直方向上属于目标的概率，/>分别表示目标框的左右上下边界；

所述位置信息包括：边界框的中心坐标、宽和高；

对所述高斯概率分布函数作积分的方法包括：对边界框的左右和上下分别选取坐标作高斯概率函数积分，然后将两数值相乘；

对已知的边界框，保存其在图像中的中心坐标、宽、高和高斯概率分布函数。

2.一种面向智慧教室的学生跟踪系统，其特征在于，包括信息模块、目标检测模块、高斯函数模块、IOU计算模块、积分模块；

所述信息模块用于获取教室的视频信息；通过VideoCapture方法采集摄像头视频数据，摄像头的位置位于黑板中央的正上方，视频分辨率为1920*1080，VideoCapture方法所读取出的视频数据为可迭代ndarray对象，每次迭代取出当前画面；

基于所述视频信息，通过目标检测方法获取学生位置边界框；将第一步读取出的ndarray对象输入YOLOv5目标检测算法，输出每个学生的边界框，具体为边界框的中心点坐标x,y和宽高w,h，具体得出公式如下所示：

其中/>表示当前视频帧中的第/>个目标；

此时的YOLOv5算法模型需要基于预训练模型针对课堂场景学生进行重新训练，其中数据标注方法为仅标注高于课桌部分的学生图像；

所述目标检测模块用于检测教室中学生的位置信息；通过YOLOv5目标检测算法逐帧的检测教室中每个学生的位置，将连续帧之间的边界框关联起来，属于同一个目标的所有目标框将会分配同样的id，便于对学生的监督管理；基于所述视频信息，通过目标检测方法获取学生位置边界框；对于每一帧图像返回每个边界框的中心点坐标和宽高；输出边界框；连续的读取摄像头的视频帧，每一帧图像均检测出每个学生在图像中的位置；

所述高斯函数模块用于将所述目标检测模块检测到的学生位置信息构建高斯概率分布函数；

所述IOU计算模块用于将所述目标检测模块检测到的边界框进行交集部分面积与并集部分面积之比；

所述积分模块用于根据所述IOU计算模块的面积比较结果作高斯概率分布函数积分；

基于面积比较结果，对所述高斯概率分布函数作积分，判断是否属于同一个学生；

所述的目标检测方法为YOLOv5，通过YOLOv5方法逐帧的检测教室中每个学生的位置；构建高斯概率分布函数的方法包括：基于边界框在图像中的位置信息构建出两个高斯分布函数，用于计算两个边界框属于同一个目标的概率；

通过IOU对比方法比较面积大小的方法包括：计算两个边界框的IOU值并与设定的IOU的阈值进行比较判断是否属于同一目标；

所述IOU值为两个边界框交集部分面积与并集部分面积之比；

以边界框的中心点坐标x，y作为高斯分布函数的均值μ，以宽高w，h的四分之一作为高斯分布的方差б，以x为均值w/4为方差构建x轴方向的概率分布函数，以y为均值h/4为方差构建y轴方向的高斯概率分布函数，即，其中，μ₁表示x方向高斯概率分布函数的均值，μ₂表示y方向高斯概率分布函数的均值，б₁表示x轴方向的概率分布方差，б₂表示y轴方向的概率分布方差；并且，以μ为均值，б为方差，构建高斯分布的计算公式如下：

；

对于每一帧图像，先进行学生目标检测，然后依次取出一个边界框，与已知目标的边界框计算IOU值，即若两个边界框交集部分的面积与并集部分面积之比大于0.6则认为两边界框可能属于同一目标，若IOU值小于0.6则继续，若没有已知的边界框，表示还没有确定的目标，于是将检测得到的第一个边界框作为一个目标，计算并保存其分布函数；

IOU计算公式如下：

，

其中A，B为两个待比较的边界框，x，y，w，h表示边界框的中心坐标和宽高，下标a,b表示其是A，B对应的属性；

基于面积比较结果，对高斯概率分布函数作积分，判断是否属于同一个学生，进而通过高斯概率分布函数计算积分判断边界框属于已知目标的概率，其计算方法为对已知目标的高斯概率函数做积分，积分下限为检测的边界框的左边界以及上边界，积分上限为检测框的右边界以及下边界，若计算得概率大于0.8，此时认为边界框属于所对比的目标，需要计算新的边界框的高斯概率分布函数，并且替换掉已知目标的边界框和高斯概率分布函数,否则再次计算IOU值；以边界框的边界作为积分上下限对分布函数进行积分的公式为：

其中，/>表示边界框在水平方向上属于目标的概率，/>表示边界框在竖直方向上属于目标的概率，/>分别表示目标框的左右上下边界；

所述位置信息包括：边界框的中心坐标、宽和高；

对所述高斯概率分布函数作积分的方法包括：对边界框的左右和上下分别选取坐标作高斯概率函数积分，然后将两数值相乘；

对已知的边界框，保存其在图像中的中心坐标、宽、高和高斯概率分布函数。