CN114677644A - 一种基于教室监控视频的学生入座分布识别方法及系统 - Google Patents
一种基于教室监控视频的学生入座分布识别方法及系统 Download PDFInfo
- Publication number
- CN114677644A CN114677644A CN202210335396.XA CN202210335396A CN114677644A CN 114677644 A CN114677644 A CN 114677644A CN 202210335396 A CN202210335396 A CN 202210335396A CN 114677644 A CN114677644 A CN 114677644A
- Authority
- CN
- China
- Prior art keywords
- seat
- student
- detection frame
- frame
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000002372 labelling Methods 0.000 claims abstract description 43
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 199
- 238000012549 training Methods 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- IJJWOSAXNHWBPR-HUBLWGQQSA-N 5-[(3as,4s,6ar)-2-oxo-1,3,3a,4,6,6a-hexahydrothieno[3,4-d]imidazol-4-yl]-n-(6-hydrazinyl-6-oxohexyl)pentanamide Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)NCCCCCC(=O)NN)SC[C@@H]21 IJJWOSAXNHWBPR-HUBLWGQQSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明的目的是提供一种基于教室监控视频的学生入座分布识别方法及系统，涉及视频信息识别技术领域，获取待测教室的监控视频；提取监控视频中的含人像视频帧和无人像视频帧；将无人像视频帧输入到座位位置标注模型中，得到待测教室的座位位置标注数据；根据座位位置标注数据，利用模拟算法确定待测教室的座位分布图；将含人像视频帧输入到学生位置标注模型中，得到待测教室的学生位置标注数据；根据座位位置标注数据和学生位置标注数据，利用点对匹配法确定学生‑座位对应关系；根据学生‑座位对应关系和座位分布图，确定教室的学生入座分布图，提高了资源的利用率和确定学生入座分布时的准确性。
Description
技术领域
本发明涉及视频信息识别技术领域，特别是涉及一种基于教室监控视频 的学生入座分布识别方法及系统。
背景技术
在课堂教学质量评价中，学生作为课堂的主体之一，其课堂行为和表现 是评价体系的重要指标项，而学生上座分布就是学生课堂行为的一部分。在 实际课堂中，由于教室大小、学生人数差距较大，学生会自发地集中在某个 区域(尤其在学生少、教室大的课堂中)，因此对学生上座分布进行分析， 可以从侧面展示该课程的吸引力，还可以综合课堂出勤人数、上课过程中的 学生表现等学生行为，共同构建学生专注度分析模型。
现有技术的已坐位置分布识别方法仍存在不足，例如专利名称为基于学 生社交关系模型的课堂座位分布预测方法，申请号为201710898390.2的发明 申请，通过采集每次上课时包含学生的教室全景照片，采用Harr人脸检测 和LBP(Local Binary Patterns，局部二值模式)人脸识别方法对学生面部图像 进行检测识别，建立教室座位二维坐标系，每一行座位对应坐标系中的横坐 标，每一列座位对应纵坐标，对每一个座位设定在二维图像中左上角和右下 角的像素坐标，每一个学生面部像素区域与该座位像素区域有80％及以上重 合时，判断学生坐在该座位上，否则没有坐在该座位上，得到考勤照片中的 所有学生在座位坐标系中的坐标；将学生的社交关系纳入预测方法，对考勤 数据中的学生座位进行记录并提取社交数据，将社交关系量化为模型，应用 在学生的课堂座位分布预测上，得到具有代表性及预测性的学生课堂座位分 布结果，这种方法对于拍摄的角度有特定的要求，不适用普遍场景，且大学 里的大型课堂或者选修课堂中学生之间社交关系较弱，会造成该方法预测准 确率较低。
又如，专利名称为实时查询当前自习室人数及已坐位置分布的装置及其 方法，申请号为201510002046.1的发明申请，其解决方案：在教室设置摄像 头，并将摄像头与嵌入式主控单元相连，嵌入式主控单元通过互联网与Web 用户或手机客户端相连，将座位坐标信息事先存储在主控单元中。实时采集 自习室的图像，并将采集的图像信息传输至嵌入式主控单元。利用人脸检测， 并结合人的头发、手臂等其他特征，识别座位上是否已有人；其次，利用人 脸定位算法对人脸坐标进行计算，再与已知的教室座位坐标模型进行匹配， 即可得到自习室的人数及已坐位置排布情况。嵌入式主控单元通过互联网将 坐标数据发送至手机客户端或WEB用户，即可实时查询当前自习室人数及 已坐位置排布。但是这种方法对摄像头的位置有特殊的要求，摄像头必须在 座位的正上方或者正前方(现有技术中教室角落安装有监控，但此监控不能 使用，需额外安装，造成资源浪费)；此外，这种方法必须事先知道教室座 位坐标信息，泛化能力较弱，且依赖硬件，带来了额外的成本。
发明内容
本发明的目的是提供一种基于教室监控视频的学生入座分布识别方法 及系统，能够基于教室角落已安装的监控视频确定学生入座分布，提高了资 源的利用率和确定学生入座分布时的准确性。
为实现上述目的，本发明提供了如下方案：
一种基于教室监控视频的学生入座分布识别方法，包括：
获取待测教室的监控视频；
提取所述监控视频中的含人像视频帧和无人像视频帧；所述含人像视频 帧中的所有学生均坐在座位上；
将所述无人像视频帧输入到座位位置标注模型中，得到所述待测教室的 座位位置标注数据；所述座位位置标注模型是利用标注无人像历史视频帧， 对Yolov5神经网络进行训练得到的；
根据所述座位位置标注数据，利用模拟算法确定待测教室的座位分布 图；
将所述含人像视频帧输入到学生位置标注模型中，得到所述待测教室的 学生位置标注数据；所述学生位置标注模型是利用标注含人像历史视频帧， 对Yolov5神经网络进行训练得到的；
根据所述座位位置标注数据和所述学生位置标注数据，利用点对匹配法 确定学生-座位对应关系；
根据所述学生-座位对应关系和所述座位分布图，确定教室的学生入座 分布图。
可选的，在所述获取待测教室的监控视频之前还包括：
获取多个教室的历史监控视频；
提取每个历史监控视频中的无人像历史视频帧，得到的无人像历史视频 帧集合；
对无人像历史视频帧集合中的座位进行标注，得到标注无人像历史视频 帧集合；
以无人像历史视频帧集合为输入，以所述标注无人像历史视频帧集合的 标注数据为期望输出，对Yolov5神经网络进行训练，得到座位位置标注模 型。
可选的，在所述获取待测教室的监控视频之前还包括：
提取每个历史监控视频中的含人像历史视频帧，得到的含人像历史视频 帧集合；
对含人像历史视频帧集合中的学生进行标注，得到标注含人像历史视频 帧集合；
以含人像历史视频帧集合为输入，以所述标注含人像历史视频帧集合的 标注数据为期望输出，对Yolov5神经网络进行训练，得到学生位置标注模 型。
可选的，所述座位位置标注数据包括座位检测框集合及座位检测框数据 集合；
所述学生位置标注数据包括学生检测框集合及学生检测框数据集合；
检测框数据集合中检测框数据包括检测框宽度、检测框高度和检测框中 心在图像坐标系下的位置坐标；所述检测框数据集合为座位检测框数据集合 或学生检测框数据集合。
可选的，所述根据所述座位位置标注数据，利用模拟算法确定待测教室 的座位分布图具体包括：
可选的，所述根据所述座位位置标注数据，利用模拟算法确定待测教室 的座位分布图具体包括：
令区域号a＝1；行数b＝1；列数c＝1；
确定座位检测框集合中距离监控最近的座位检测框为当前座位检测框；
将当前座位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检 测框标记为已排列座位检测框；
以当前座位检测框宽度为平移距离，将所述当前座位检测框沿位置横坐 标方向，向位置横坐标减小的方向平移，得到座位预测框；
分别确定每个未排列座位检测框与所述座位预测框的交并比；所述未排 列座位检测框为所述座位检测框集合中除所述已排列座位检测框之外的座 位检测框；
判断最大交并比是否大于交并比阈值，得到第一判断结果；
若所述第一判断结果为是，则确定所述最大交并比对应的未排列座位检 测框为当前座位检测框，令c的数值增加1并返回步骤“将当前座位检测框 对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位 检测框”；
若所述第一判断结果为否，则分别确定每个未排列座位检测框的中心坐 标与分布坐标(a,b,1)对应的已排列座位检测框的中心坐标之间的距离；
判断最小距离是否小于距离阈值，得到第二判断结果；
若所述第二判断结果为是，则确定所述最小距离对应的未排列座位检测 框为当前座位检测框，令b的数值增加1，令c＝1，并返回步骤“将当前座 位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已 排列座位检测框”
若所述第二判断结果为否，则删除所述座位检测框集合中的已排列座位 检测框；令a的数值增加1，b＝1，c＝1，并返回步骤“确定座位检测框集合 中距离监控最近的座位检测框为当前座位检测框”直至所述座位检测框集合 为空集合，得到每个座位检测框对应座位的分布坐标；
根据每个座位检测框对应座位的分布坐标，构建待测教室的座位分布 图。
可选的，所述交并比的计算公式为：
其中，IOU表示交并比；A表示座位预测框的边框；B表示座位检测框 集合中任一未排列座位检测框的边框。
可选的，所述根据所述座位位置标注数据和所述学生位置标注数据，利 用点对匹配法确定学生-座位对应关系具体包括：
分别在所述座位检测框集合中每个座位检测框的下边缘上标记一个基 准点；所述基准点与所在座位检测框的左下角处顶点的距离随座位检测框中 心的位置横坐标的增大而增大；
确定学生检测框集合中任一学生检测框为当前学生检测框；
分别确定当前学生检测框右下角处顶点与每个基准点的距离；
确定最小距离对应的座位检测框检测到的座位为坐有学生的座位。
可选的，在所述获取待测教室的监控视频之前，还包括：
对含人像历史视频帧集合中学生-座位对应关系进行标注，得到关系标 注历史视频帧集合；
根据所述标注无人像历史视频帧集合和所述标注含人像历史视频帧集 合，利用点对匹配法确定学生-座位历史对应关系；
根据所述关系标注历史视频帧集合和学生-座位历史对应关系，校正基 准点的标记范围。
可选的，所述分别在所述座位检测框集合中每个座位检测框的下边缘上 标记一个基准点具体包括：
确定任一座位检测框为当前座位检测框；
令n＝1；
判断所述当前座位检测框对应的区域号a是否为amax-n，得到第三判断 结果；
若所述第三判断结果为是，则根据第amax-n标记范围标记基准点；
若所述第三判断结果为否，则令n的数值增加1，并返回步骤“判断所 述当前座位检测框对应的区域号a是否为amax-n，得到第三判断结果”。
一种基于教室监控视频的学生入座分布识别系统，包括：
监控视频获取模块，用于获取待测教室的监控视频；
视频帧提取模块，用于提取所述监控视频中的含人像视频帧和无人像视 频帧；所述含人像视频帧中的所有学生均坐在座位上；
座位位置标注数据确定模块，用于将所述无人像视频帧输入到座位位置 标注模型中，得到所述待测教室的座位位置标注数据；所述座位位置标注模 型是利用标注无人像历史视频帧，对Yolov5神经网络进行训练得到的；
座位分布图确定模块，用于根据所述座位位置标注数据，利用模拟算法 确定待测教室的座位分布图；
学生位置标注数据确定模块，用于将所述含人像视频帧输入到学生位置 标注模型中，得到所述待测教室的学生位置标注数据；所述学生位置标注模 型是利用标注含人像历史视频帧，对Yolov5神经网络进行训练得到的；
学生-座位对应关系确定模块，用于根据所述座位位置标注数据和所述 学生位置标注数据，利用点对匹配法确定学生-座位对应关系；
学生入座分布图确定模块，用于根据所述学生-座位对应关系和所述座 位分布图，确定教室的学生入座分布图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明的目的是提供一种基于教室监控视频的学生入座分布识别方法 及系统，通过构建座位位置标注模型和座位位置标注模型，确定待测教室的 监控视频中的学生标注信息和座位标注信息；进一步利用模拟算法确定待测 教室的座位分布图，利用点对匹配法确定学生-座位对应关系，进而确定教 室的学生入座分布图，提高了资源的利用率和确定学生入座分布时的准确 性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于教室监控视频的学生入座分布识别方法流程 图；
图2为本发明实施例中学生入座分布识别方法原理图；
图3为本发明实施例中点对匹配法原理图；
图4为本发明实施例中生入座分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于教室监控视频的学生入座分布识别方法 及系统，能够基于教室角落已安装的监控视频确定学生入座分布，提高了资 源的利用率和确定学生入座分布时的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。
本发明提供了一种基于教室监控视频的学生入座分布识别方法，包括：
步骤101：获取待测教室的监控视频；
步骤102：提取监控视频中的含人像视频帧和无人像视频帧；含人像视 频帧中的所有学生均坐在座位上；
步骤103：将无人像视频帧输入到座位位置标注模型中，得到待测教室 的座位位置标注数据；座位位置标注模型是利用标注无人像历史视频帧，对 Yolov5神经网络进行训练得到的；
步骤104：根据座位位置标注数据，利用模拟算法确定待测教室的座位 分布图；
步骤105：将含人像视频帧输入到学生位置标注模型中，得到待测教室 的学生位置标注数据；学生位置标注模型是利用标注含人像历史视频帧，对 Yolov5神经网络进行训练得到的；
步骤106：根据座位位置标注数据和学生位置标注数据，利用点对匹配 法确定学生-座位对应关系；
步骤107：根据学生-座位对应关系和座位分布图，确定教室的学生入座 分布图。
在步骤101之前还包括：
获取多个教室的历史监控视频；
提取每个历史监控视频中的无人像历史视频帧，得到的无人像历史视频 帧集合；
对无人像历史视频帧集合中的座位进行标注，得到标注无人像历史视频 帧集合；
以无人像历史视频帧集合为输入，以标注无人像历史视频帧集合的标注 数据为期望输出，对Yolov5神经网络进行训练，得到座位位置标注模型。
在步骤101之前还包括：
提取每个历史监控视频中的含人像历史视频帧，得到的含人像历史视频 帧集合；
对含人像历史视频帧集合中的学生进行标注，得到标注含人像历史视频 帧集合；
以含人像历史视频帧集合为输入，以标注含人像历史视频帧集合的标注 数据为期望输出，对Yolov5神经网络进行训练，得到学生位置标注模型。
其中，座位位置标注数据包括座位检测框集合及座位检测框数据集合；
学生位置标注数据包括学生检测框集合及学生检测框数据集合；
检测框数据集合中检测框数据包括检测框宽度、检测框高度和检测框中 心在图像坐标系下的位置坐标；检测框数据集合为座位检测框数据集合或学 生检测框数据集合。
步骤104具体包括：
令区域号a＝1；行数b＝1；列数c＝1；
确定座位检测框集合中距离监控最近的座位检测框为当前座位检测框；
将当前座位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检 测框标记为已排列座位检测框；
以当前座位检测框宽度为平移距离，将当前座位检测框沿位置横坐标方 向，向位置横坐标减小的方向平移，得到座位预测框；
分别确定每个未排列座位检测框与座位预测框的交并比；未排列座位检 测框为座位检测框集合中除已排列座位检测框之外的座位检测框；
判断最大交并比是否大于交并比阈值，得到第一判断结果；
若第一判断结果为是，则确定最大交并比对应的未排列座位检测框为当 前座位检测框，令c的数值增加1并返回步骤“将当前座位检测框对应座位 的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位检测框”；
若第一判断结果为否，则分别确定每个未排列座位检测框的中心坐标与 分布坐标(a,b,1)对应的已排列座位检测框的中心坐标之间的距离；
判断最小距离是否小于距离阈值，得到第二判断结果；
若第二判断结果为是，则确定最小距离对应的未排列座位检测框为当前 座位检测框，令b的数值增加1，令c＝1，并返回步骤“将当前座位检测框 对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位 检测框”
若第二判断结果为否，则删除座位检测框集合中的已排列座位检测框； 令a的数值增加1，b＝1，c＝1，并返回步骤“确定座位检测框集合中距离监 控最近的座位检测框为当前座位检测框”直至座位检测框集合为空集合，得 到每个座位检测框对应座位的分布坐标；
根据每个座位检测框对应座位的分布坐标，构建待测教室的座位分布 图。
根据每个座位检测框对应座位的分布坐标，构建待测教室的座位分布 图，具体包括：
按照座位检测框的数量构建多个尺寸相同的矩形；
每个座位检测框对应座位的分布坐标，对按照预设相邻区域间距、预设 相邻行间距和预设相邻列间距对多个矩形进行排列。
其中，交并比的计算公式为：
其中，IOU表示交并比；A表示座位预测框的边框；B表示座位检测框 集合中任一未排列座位检测框的边框。
步骤106，具体包括：
分别在座位检测框集合中每个座位检测框的下边缘上标记一个基准点； 基准点与所在座位检测框的左下角处顶点的距离随座位检测框中心的位置 横坐标的增大而增大；
确定学生检测框集合中任一学生检测框为当前学生检测框；
分别确定当前学生检测框右下角处顶点与每个基准点的距离；
确定最小距离对应的座位检测框检测到的座位为坐有学生的座位。
在步骤101之前，还包括：
对含人像历史视频帧集合中学生-座位对应关系进行标注，得到关系标 注历史视频帧集合；
根据标注无人像历史视频帧集合和标注含人像历史视频帧集合，利用点 对匹配法确定学生-座位历史对应关系；
根据关系标注历史视频帧集合和学生-座位历史对应关系，校正基准点 的标记范围。
分别在座位检测框集合中每个座位检测框的下边缘上标记一个基准点 具体包括：
确定任一座位检测框为当前座位检测框；
令n＝1；
判断所述当前座位检测框对应的区域号a是否为amax-n，得到第三判断 结果；
若所述第三判断结果为是，则根据第amax-n标记范围标记基准点；
若所述第三判断结果为否，则令n的数值增加1，并返回步骤“判断所 述当前座位检测框对应的区域号a是否为amax-n，得到第三判断结果”。
具体的，第amax-n标记范围与第amax-n-1标记范围相比；
第amax-n标记范围两个端点中的更大值小于第amax-n-1标记范围两个端 点中的更小值。
以区域号最大值为amax＝3为例，对第amax-n标记范围做如下说明：
当前座位检测框对应区域号为3，即n＝0，标记范围为当前座位检测框 的下边缘的0.3-0.45倍分点处；
当前座位检测框对应区域号为2，即n＝1，标记范围为当前座位检测框 的下边缘的0.5-0.6倍分点处；
当前座位检测框对应区域号为1，即n＝2，标记范围为当前座位检测框 的下边缘的0.75-0.85倍分点处标记基准点。
如图2所示，本发明主要分为四个步骤，首先需要训练针对学生上半身 检测和座位检测的模型，其次利用座位检测结果，排列座位，确定每个座位 在第几排第几列，最后提出一种点对匹配法，将学生和所坐的座位对应起来， 从而确定学生们上课时的位置，并绘制出学生位置排布图，详细叙述如下。
步骤一：通过设在教室中的摄像头采集实时的课堂视频，在多学生课堂 教学场景下，基于Yolo v5目标检测算法，利用标注好的数据集训练学生上 半身检测模型，得到学生的位置。其中bach_size设为8，IOU阈值为0.6， 置信度阈值为0.001，初始学习率设置为0.01，最终下降到0.0001，权重衰 减系数为0.0005，学习率动量为0.937。
步骤二：从采集的课堂视频中提取空教室对应的帧，在空教室场景下， 基于Yolov5目标检测算法，利用标注好的数据集训练座位检测模型，得到 座位位置。
步骤三：考虑到本发明场景里的每排座位是倾斜的，不能仅根据座位中 心点的坐标来判断某个座位在哪一排哪一列。因此利用座位检测结果，采用 模拟的方法对座位进行排列，即不断向左或向右平移座位检测框和计算两个 座位检测框之间的IOU，确定每个座位在第几排第几列。
步骤四：由于本发明的数据集场景里的摄像头在角落里，人和座位之间 的位置在二维图像中会发生偏移，因此基于该数据集的特点，提出一种点对 匹配法，如图3所示，选取人体检测框的右下角(圆形标记标注)和座位框 下边沿上的某个点(菱形标记标注)进行匹配，将学生和所坐的座位对应起 来，确定学生上课时的位置，绘制出学生位置排布图，如图4所示。考虑到 在教室中，越靠左，学生和座位之间的偏移越大。因此对于座位框下边沿上 的点采用以下动态选取的规则：从每个座位框的左下角开始，对于左边区域， 取每个座位框长的0.3～0.45倍这个范围内的点；对于中间区域，取座位框长 的0.5～0.6倍这个范围内的点；而对于右边区域，则取座位框长的0.75～0.85 倍这个范围内的点。点对匹配法在动态选取座位框下边沿上的点时，其范围 可以随摄像头角度等不同的实际情况进行调整。
进一步地，步骤一及步骤二中所述的目标检测网络结构分为四个模块： Input模块、Backbone模块、Neck模块、Prediction模块。目标检测网络结 构中设计了两种CSP结构，CSP1_X结构应用于Backbone主干网络，另一 种CSP2_X结构应用于Neck中，加强了网络特征融合的能力。Input模块加 入了Mosaic数据增强，能够进行自适应锚框计算及自适应图片缩放处理。 Backbone模块，主要包括Focus结构、CSP结构及SPP结构，CSPDarknet 作为特征提取网络，从输入图像中提取目标信息。Neck模块采用了FPN+PAN 结构，得到一系列混合和组合图像特征的网络层，并将图像特征传递到预测 层，加强了信息传播，具备准确保留空间信息的能力。使用CIOU_Loss作 为Bounding box的损失函数。
进一步地，使用CSPDarknet作为特征提取网络，从输入图像中提取目 标信息。在训练时，采用Mosaic数据增强结合自适应图片缩放，对原始图 片进行拼接处理并且给图片添加一定程度的灰边，然后将图像缩放至统一尺 寸1280×1280×3送入网络进行训练。在选定锚框比时采用自适应锚框计算。 每次训练时，自适应的计算不同训练集中的最佳锚框值。测试时，只使用自 适应图片缩放，对原始图像自适应地添加最少的灰边以减少冗余信息，然后 再传入检测网络。
在检测过程中，算法将输入张量分为S×S个网格，若目标的中心点位 于某一网格，则由该网格负责对目标进行检测。对于每一个网格，在其上预 测B个boundingbox。具体而言，对于每一个bounding box，预测(5+C) 个值。前5个值用于回归boundingbox中心点位置与尺寸，并判断框内是否 存在目标，C是目标类别总数。
具体的，本发明中损失函数由3部分构成，分别是位置损失、置信度损 失及类别损失。实验时优化方法是带动量的随机梯度下降法，学习率的下降 方式为余弦下降。通过加载预训练权重，将网络中的参数初始化，加快模型 训练的收敛速度。
进一步地，数据集的每一帧图片的大小都是1920*1080像素。对于学生 上半身检测数据集，训练集包含400张，共10671个标签，测试集包含115 张，共2886个标签；对于座位检测数据集，共有35个教室，其中训练集包 含27张图片，共2447个标签，测试集包含8张，共749个标签；对于匹配 时所需的标签，人工标注每个座位是否有人，用于计算匹配结果的准确率。
此外，本发明还提供了一种基于教室监控视频的学生入座分布识别系 统，包括：
监控视频获取模块，用于获取待测教室的监控视频；
视频帧提取模块，用于提取监控视频中的含人像视频帧和无人像视频 帧；含人像视频帧中的所有学生均坐在座位上；
座位位置标注数据确定模块，用于将无人像视频帧输入到座位位置标注 模型中，得到待测教室的座位位置标注数据；座位位置标注模型是利用标注 无人像历史视频帧，对Yolov5神经网络进行训练得到的；
座位分布图确定模块，用于根据座位位置标注数据，利用模拟算法确定 待测教室的座位分布图；
学生位置标注数据确定模块，用于将含人像视频帧输入到学生位置标注 模型中，得到待测教室的学生位置标注数据；学生位置标注模型是利用标注 含人像历史视频帧，对Yolov5神经网络进行训练得到的；
学生-座位对应关系确定模块，用于根据座位位置标注数据和学生位置 标注数据，利用点对匹配法确定学生-座位对应关系；
学生入座分布图确定模块，用于根据学生-座位对应关系和座位分布图， 确定教室的学生入座分布图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。此外， 本发明所用到的监控均经当事人同意。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领 域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会 有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于教室监控视频的学生入座分布识别方法，其特征在于，包括：
获取待测教室的监控视频；
提取所述监控视频中的含人像视频帧和无人像视频帧；所述含人像视频帧中的所有学生均坐在座位上；
将所述无人像视频帧输入到座位位置标注模型中，得到所述待测教室的座位位置标注数据；所述座位位置标注模型是利用标注无人像历史视频帧，对Yolov5神经网络进行训练得到的；
根据所述座位位置标注数据，利用模拟算法确定待测教室的座位分布图；
将所述含人像视频帧输入到学生位置标注模型中，得到所述待测教室的学生位置标注数据；所述学生位置标注模型是利用标注含人像历史视频帧，对Yolov5神经网络进行训练得到的；
根据所述座位位置标注数据和所述学生位置标注数据，利用点对匹配法确定学生-座位对应关系；
根据所述学生-座位对应关系和所述座位分布图，确定教室的学生入座分布图。
2.根据权利要求1所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，在所述获取待测教室的监控视频之前还包括：
获取多个教室的历史监控视频；
提取每个历史监控视频中的无人像历史视频帧，得到的无人像历史视频帧集合；
对无人像历史视频帧集合中的座位进行标注，得到标注无人像历史视频帧集合；
以无人像历史视频帧集合为输入，以所述标注无人像历史视频帧集合的标注数据为期望输出，对Yolov5神经网络进行训练，得到座位位置标注模型。
3.根据权利要求2所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，在所述获取待测教室的监控视频之前还包括：
提取每个历史监控视频中的含人像历史视频帧，得到的含人像历史视频帧集合；
对含人像历史视频帧集合中的学生进行标注，得到标注含人像历史视频帧集合；
以含人像历史视频帧集合为输入，以所述标注含人像历史视频帧集合的标注数据为期望输出，对Yolov5神经网络进行训练，得到学生位置标注模型。
4.根据权利要求3所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，
所述座位位置标注数据包括座位检测框集合及座位检测框数据集合；
所述学生位置标注数据包括学生检测框集合及学生检测框数据集合；
检测框数据集合中检测框数据包括检测框宽度、检测框高度和检测框中心在图像坐标系下的位置坐标；所述检测框数据集合为座位检测框数据集合或学生检测框数据集合。
5.根据权利要求4所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，所述根据所述座位位置标注数据，利用模拟算法确定待测教室的座位分布图具体包括：
令区域号a＝1；行数b＝1；列数c＝1；
确定座位检测框集合中距离监控最近的座位检测框为当前座位检测框；
将当前座位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位检测框；
以当前座位检测框宽度为平移距离，将所述当前座位检测框沿位置横坐标方向，向位置横坐标减小的方向平移，得到座位预测框；
分别确定每个未排列座位检测框与所述座位预测框的交并比；所述未排列座位检测框为所述座位检测框集合中除所述已排列座位检测框之外的座位检测框；
判断最大交并比是否大于交并比阈值，得到第一判断结果；
若所述第一判断结果为是，则确定所述最大交并比对应的未排列座位检测框为当前座位检测框，令c的数值增加1并返回步骤“将当前座位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位检测框”；
若所述第一判断结果为否，则分别确定每个未排列座位检测框的中心坐标与分布坐标(a,b,1)对应的已排列座位检测框的中心坐标之间的距离；
判断最小距离是否小于距离阈值，得到第二判断结果；
若所述第二判断结果为是，则确定所述最小距离对应的未排列座位检测框为当前座位检测框，令b的数值增加1，令c＝1，并返回步骤“将当前座位检测框对应座位的分布坐标设置为(a,b,c)，并将当前座位检测框标记为已排列座位检测框”
若所述第二判断结果为否，则删除所述座位检测框集合中的已排列座位检测框；令a的数值增加1，b＝1，c＝1，并返回步骤“确定座位检测框集合中距离监控最近的座位检测框为当前座位检测框”直至所述座位检测框集合为空集合，得到每个座位检测框对应座位的分布坐标；
根据每个座位检测框对应座位的分布坐标，构建待测教室的座位分布图。
6.根据权利要求5所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，所述交并比的计算公式为：
其中，IOU表示交并比；A表示座位预测框的边框；B表示座位检测框集合中任一未排列座位检测框的边框。
7.根据权利要求4所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，所述根据所述座位位置标注数据和所述学生位置标注数据，利用点对匹配法确定学生-座位对应关系具体包括：
分别在所述座位检测框集合中每个座位检测框的下边缘上标记一个基准点；所述基准点与所在座位检测框的左下角处顶点的距离随座位检测框中心的位置横坐标的增大而增大；
确定学生检测框集合中任一学生检测框为当前学生检测框；
分别确定当前学生检测框右下角处顶点与每个基准点的距离；
确定最小距离对应的座位检测框检测到的座位为坐有学生的座位。
8.根据权利要求7所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，在所述获取待测教室的监控视频之前，还包括：
对含人像历史视频帧集合中学生-座位对应关系进行标注，得到关系标注历史视频帧集合；
根据所述标注无人像历史视频帧集合和所述标注含人像历史视频帧集合，利用点对匹配法确定学生-座位历史对应关系；
根据所述关系标注历史视频帧集合和学生-座位历史对应关系，校正基准点的标记范围。
9.根据权利要求8所述的一种基于教室监控视频的学生入座分布识别方法，其特征在于，所述分别在所述座位检测框集合中每个座位检测框的下边缘上标记一个基准点具体包括：
确定任一座位检测框为当前座位检测框；
令n＝1；
判断所述当前座位检测框对应的区域号a是否为amax-n，得到第三判断结果；
若所述第三判断结果为是，则根据第amax-n标记范围标记基准点；
若所述第三判断结果为否，则令n的数值增加1，并返回步骤“判断所述当前座位检测框对应的区域号a是否为amax-n，得到第三判断结果”。
10.一种基于教室监控视频的学生入座分布识别系统，其特征在于，包括：
监控视频获取模块，用于获取待测教室的监控视频；
视频帧提取模块，用于提取所述监控视频中的含人像视频帧和无人像视频帧；所述含人像视频帧中的所有学生均坐在座位上；
座位位置标注数据确定模块，用于将所述无人像视频帧输入到座位位置标注模型中，得到所述待测教室的座位位置标注数据；所述座位位置标注模型是利用标注无人像历史视频帧，对Yolov5神经网络进行训练得到的；
座位分布图确定模块，用于根据所述座位位置标注数据，利用模拟算法确定待测教室的座位分布图；
学生位置标注数据确定模块，用于将所述含人像视频帧输入到学生位置标注模型中，得到所述待测教室的学生位置标注数据；所述学生位置标注模型是利用标注含人像历史视频帧，对Yolov5神经网络进行训练得到的；
学生-座位对应关系确定模块，用于根据所述座位位置标注数据和所述学生位置标注数据，利用点对匹配法确定学生-座位对应关系；
学生入座分布图确定模块，用于根据所述学生-座位对应关系和所述座位分布图，确定教室的学生入座分布图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210335396.XA CN114677644A (zh) | 2022-03-31 | 2022-03-31 | 一种基于教室监控视频的学生入座分布识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210335396.XA CN114677644A (zh) | 2022-03-31 | 2022-03-31 | 一种基于教室监控视频的学生入座分布识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114677644A true CN114677644A (zh) | 2022-06-28 |
Family
ID=82077058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210335396.XA Pending CN114677644A (zh) | 2022-03-31 | 2022-03-31 | 一种基于教室监控视频的学生入座分布识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114677644A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471773A (zh) * | 2022-09-16 | 2022-12-13 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN116563797A (zh) * | 2023-07-10 | 2023-08-08 | 安徽网谷智能技术有限公司 | 一种用于智慧校园的监控管理系统 |
| CN118071833A (zh) * | 2024-04-19 | 2024-05-24 | 广州乐庚信息科技有限公司 | 一种基于三维数字课堂的目标对象多模态定位方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082971A1 (zh) * | 2018-10-24 | 2020-04-30 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN113268024A (zh) * | 2021-05-14 | 2021-08-17 | 广东工业大学 | 一种智能教室监管系统和方法 |
| CN113392776A (zh) * | 2021-06-17 | 2021-09-14 | 深圳市千隼科技有限公司 | 一种结合座位信息和机器视觉的离开座位行为检测方法和存储设备 |
| CN113591703A (zh) * | 2021-07-30 | 2021-11-02 | 山东建筑大学 | 一种教室内人员定位方法及教室综合管理系统 |
-
2022
- 2022-03-31 CN CN202210335396.XA patent/CN114677644A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020082971A1 (zh) * | 2018-10-24 | 2020-04-30 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN113268024A (zh) * | 2021-05-14 | 2021-08-17 | 广东工业大学 | 一种智能教室监管系统和方法 |
| CN113392776A (zh) * | 2021-06-17 | 2021-09-14 | 深圳市千隼科技有限公司 | 一种结合座位信息和机器视觉的离开座位行为检测方法和存储设备 |
| CN113591703A (zh) * | 2021-07-30 | 2021-11-02 | 山东建筑大学 | 一种教室内人员定位方法及教室综合管理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张培培等: "基于深度学习的教室人数统计方法", 电脑编程技巧与维护, 30 November 2021 (2021-11-30), pages 130 - 132 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115471773A (zh) * | 2022-09-16 | 2022-12-13 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN115471773B (zh) * | 2022-09-16 | 2023-09-15 | 北京联合大学 | 一种面向智慧教室的学生跟踪方法及系统 |
| CN116563797A (zh) * | 2023-07-10 | 2023-08-08 | 安徽网谷智能技术有限公司 | 一种用于智慧校园的监控管理系统 |
| CN116563797B (zh) * | 2023-07-10 | 2023-10-27 | 安徽网谷智能技术有限公司 | 一种用于智慧校园的监控管理系统 |
| CN118071833A (zh) * | 2024-04-19 | 2024-05-24 | 广州乐庚信息科技有限公司 | 一种基于三维数字课堂的目标对象多模态定位方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| EP3576017A1 (en) | Method, apparatus, and device for determining pose of object in image, and storage medium | |
| CN110287960A (zh) | 自然场景图像中曲线文字的检测识别方法 | |
| CN106033435B (zh) | 物品识别方法和装置，室内地图生成方法和装置 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
| WO2022156622A1 (zh) | 脸部图像的视线矫正方法、装置、设备、计算机可读存储介质及计算机程序产品 | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别系统 | |
| CN114677644A (zh) | 一种基于教室监控视频的学生入座分布识别方法及系统 | |
| CN110837795A (zh) | 基于课堂监控视频的教学情况智能监测方法、装置及设备 | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN111209811B (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
| CN113297956B (zh) | 一种基于视觉的手势识别方法及系统 | |
| CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
| CN114022761A (zh) | 一种卫星遥感影像输电线路杆塔检测定位方法及装置 | |
| WO2022247823A1 (zh) | 图像检测方法、设备和存储介质 | |
| CN110543811A (zh) | 一种基于深度学习的非配合式考试人员管理方法及其系统 | |
| CN113705349A (zh) | 一种基于视线估计神经网络的注意力量化分析方法及系统 | |
| CN111160277A (zh) | 行为识别分析方法和系统、计算机可读存储介质 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| Zhang | Innovation of English teaching model based on machine learning neural network and image super resolution | |
| CN113989608A (zh) | 基于顶部视觉的学生实验课堂行为识别方法 | |
| CN110046595A (zh) | 一种基于级联式多尺度的密集人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |