CN112686128B - 基于机器学习的教室课桌检测方法 - Google Patents
基于机器学习的教室课桌检测方法 Download PDFInfo
- Publication number
- CN112686128B CN112686128B CN202011576394.7A CN202011576394A CN112686128B CN 112686128 B CN112686128 B CN 112686128B CN 202011576394 A CN202011576394 A CN 202011576394A CN 112686128 B CN112686128 B CN 112686128B
- Authority
- CN
- China
- Prior art keywords
- desk
- cluster
- image
- classroom
- bounding box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于机器学习的教室课桌检测方法，包括以下步骤：步骤1：检测出图像中课桌的包围盒；步骤2：检测教室课桌所有直线；步骤3：利用直线计算出教室主方向。步骤4：利用主方向对包围盒进行仿射变换；步骤5：利用主方向对原图像进行仿射变换；步骤6：对包围盒执行聚类算法；步骤7：计算聚类中心差值，阙值，合并特定的簇；步骤8：取出连续多排课桌的包围盒；步骤9：计算区域包围盒；步骤10：将区域包围盒绘制图像上；步骤11：对图像做逆仿射变换。本发明实现一定程度自动化和智能化地定位教室课桌位置，有利于后续课堂情况分析，例如统计学生就座率，分析学生对课堂兴趣程度进而改进教学方法等。
Description
技术领域
本发明属于人工智能领域，涉及一种基于机器学习的教室课桌检测方法。
背景技术
随着机器学习的发展，尤其是深度学习的发展，一些传统计算机视觉解决不了的问题得到解决，一些传统视觉效果不够的方面也得到了很大提高。目前课堂数据大都依靠人力来统计计算，例如课堂就座率、学生逃课情况、学生对课程的兴趣度等，根据这些课堂数据可以改进教学质量，帮助老师家长更好地改善学生学习。但是依靠人力不仅耗时费力，还有更大的错误可能性，如果能利用机器学习和深度学习计算机视觉方法，解决教育场景中自动检测教室课桌的位置，实现一定程度的自动化和智能化分析课堂情况，将是非常有益的。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于机器学习的教室课桌检测方法。
为了解决上述技术问题，本发明公开了一种基于机器学习的教室课桌检测方法，包括以下步骤：
步骤1：训练出检测课桌的深度学习目标检测模型，并检测出输入图像Iinput中每个课桌的包围盒，记所有课桌的包围盒集合为Binput；所述图像Iinput为有多排课桌的教室场景；
步骤2：利用直线检测算法检测出图像Iinput中所有直线；
步骤3：对检测出的直线，利用聚类算法计算出教室主方向，所述教室主方向为课桌横向排列的方向；
步骤4：利用步骤3得到的教室主方向，对步骤1得到的包围盒集合Binput进行仿射变换，得到旋转后的包围盒集合Brotate；
步骤5：利用步骤3得到的教室主方向，对图像Iinput进行仿射变换，得到旋转后的图像Irotate；
步骤6：对步骤4得到的包围盒集合Brotate执行聚类算法，得到多个包围盒聚类簇；
步骤7：对于步骤6得到的聚类簇，计算聚类中心之间的差值和阙值，并合并聚类簇，合并后的聚类簇中每个聚类簇的包围盒是同排课桌的包围盒；
步骤8：对于步骤7得到的合并后的聚类簇，根据需要取出连续多排课桌的包围盒，记取出的连续多排课桌的包围盒集合为Bmultirow；由于各个教室大小不同，课桌排数不同，根据需要取出连续多排课桌的包围盒能够灵活选取教室中某几排课桌进行动态检测，自适应性较强；
步骤9：计算区域包围盒Bmf，区域包围盒Bmf能够包含步骤8中的连续多排课桌包围盒集合Bmultirow中所有的包围盒；
步骤10：将步骤9得到的区域包围盒Bmf绘制在步骤5得到的图像Irotate上，获得包含区域包围盒Bmf的图像Irotate-mf；
步骤11：利用步骤3得到的教室主方向，对步骤10获得的图像Irotate-mf做逆仿射变换，得到结果图像Iresult-mf。
可选地，步骤1包括如下步骤：
步骤1-1：利用爬虫技术，从网络下载足量教室课桌图像；
步骤1-2：利用图像标注工具对步骤1-1获得的教室课桌图像标注课桌，将标注后的教室课桌图像作为检测课桌的深度学习目标检测模型的学习训练集，所述检测课桌的深度学习目标检测模型采用yolov4目标检测网络；
步骤1-3：构造yolov4目标检测网络，yolov4的主干网络采用CSPDarknet53，脖颈网络采用路径聚合网络PAN(Path Aggregation Network)，检测头部分采用yolo，主干网络用于通过连续地卷积和下采样提取图像的语义信息，脖颈网络针对图像中目标大小变化问题，构造出多个尺度的特征映射用于检测，同时融合了低层的较强细节、定位信息和高层的强语义，更有利于多种尺寸目标的检测，检测头部分用于生成所有包围盒，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；
步骤1-4：利用预训练权重初始化yolov4目标检测网络的主干网络，其他部分按需初始化；
步骤1-5：利用步骤1-2的训练集，对步骤1-4的yolov4目标检测网络模型进行训练，得到能够检测课桌目标的泛化模型；
步骤1-6：将图像Iinput输入至步骤1-5中的泛化模型，通过泛化模型检测出图像Iinput中的每个课桌，得到所有课桌的包围盒集合Binput。
可选地，步骤2包括以下步骤：
步骤2-1：选择霍夫变换作为直线检测算法；
步骤2-2：利用步骤2-1中的霍夫变换，选择合适的参数值检测出图像Iinput中的直线，参数值设置要求过滤掉较多短直线，留下较多长直线；以图像Iinput左上角为原点建立坐标系，图像宽度方向为x轴，图像高度方向为y轴，直线的角度为直线与x轴的角度。图像Iinput中检测出的长直线大多是课桌横向棱的直线。
可选地，步骤3包括以下步骤：
步骤3-1：对步骤2中得到的直线执行k均值聚类算法，聚类的度量是直线的角度；得到不同角度的直线簇，角度相近的直线会聚集到一个直线簇里；
步骤3-2：选取直线数量最多的直线簇的聚类中心角度作为教室主方向，所述聚类中心角度为直线数量最多的直线簇中所有直线角度的平均值。
所述步骤3对步骤2中得到的直线执行k均值聚类算法是为了让能表示教室主方向的直线聚集到一个直线簇，不需要的直线聚集到其他直线簇。
可选地，步骤4中利用步骤3-2得到的教室主方向，对步骤1-6得到的包围盒集合Binput中所有的包围盒进行仿射变换，使得同排课桌的包围盒中心大致位于一条水平线上，即仿射变换后，同排课桌的包围盒中心的纵坐标相近；所述水平线与图像坐标系x轴近似平行；对包围盒集合Binput进行仿射变换有利于后续将同排课桌的包围盒聚集到一个簇里。
可选地，步骤5中利用步骤3-2得到的教室主方向，对图像Iinput进行仿射变换，得到旋转后的图像Irotate，图像Irotate的教室主方向直线与坐标系x轴近似平行；对图像Iinput进行仿射变换有利于后续绘制区域包围盒。
可选地，步骤6中对步骤4得到的包围盒集合Brotate执行k均值聚类算法，聚类的度量是包围盒集合Brotate中包围盒中心的纵坐标，得到相应的课桌包围盒聚类簇。每一个包围盒聚类簇中的包围盒大部分是同排课桌的包围盒。
可选地，步骤7包括以下步骤：
步骤7-1：对步骤6得到的包围盒聚类簇，按照它们的聚类中心的大小进行降序排列，使得前排课桌的聚类簇靠前，后排课桌的聚类簇靠后；所述包围盒聚类簇的聚类中心指每个聚类簇中包围盒中心纵坐标的平均值；
步骤7-2：从第二个聚类簇开始顺序计算每个聚类簇与前一个聚类簇之间的聚类中心差值；
步骤7-3：计算这些差值的均值和标准差，并将阙值设置为均值和标准差的加权和；均值和标准差的加权系数依据实际场景应用的效果自行设置；
步骤7-4：从第二个聚类簇开始依次比较差值和阙值大小，如果差值小于阙值或者小于阙值一定范围，则判定这个聚类簇和前一个聚类簇属于同一个聚类簇，将这个聚类簇和前一个聚类簇合并为一个聚类簇，重新计算合并后的聚类簇的聚类中心；所述阙值一定范围根据实际场景应用的效果自行设置；
步骤7-5：重复执行步骤7-2～步骤7-4，获得合并后的所有聚类簇，合并后的所有聚类簇中每个聚类簇的包围盒是同排课桌的包围盒。
所述步骤7对步骤6计算得到的包围盒聚类簇进行合并是为了优化结果，减少同排课桌检测误差，因为在实际扭曲较严重的场景，即使旋转还是会有一定倾斜角度，造成同排被聚成两个聚类簇。
可选地，步骤9中计算区域包围盒Bmf，包围盒Bmf能够包含连续多排课桌包围盒集合Bmultirow中所有的课桌包围盒，记连续多排课桌包围盒集合Bmultirow中所有包围盒四个顶点中横坐标最小值为xmin，横坐标最大值为xmax，纵坐标最小值为ymin，纵坐标最大值为ymax，则区域包围盒Bmf的四个顶点坐标分别为(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax)；
可选地，步骤1-2中的图像标注工具为labelImg工具。
有益效果：
1)本发明提供的方法利用机器学习和深度学习计算机视觉算法实现计算机自动检测课桌区域范围，无需人工处理，解决了人工分析不仅耗费人力，速度和准确程度也有限的问题，实现一定程度自动化和智能化地定位课桌位置；
2)本发明提供的方法执行速度较快，同时能够灵活选取连续多排课桌进行检测，自适应性较强；
3)本发明提供的方法有利于后续课堂情况分析，例如统计学生就座率、抬头率，分析学生对课堂兴趣程度进而改进教学方法等。这对于教务员分析学生上课情况，从而帮助改进教学方案、提高学生上课质量有很大帮助。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明实施例部分提供的的方法流程图；
图2为本发明实施例部分提供的深度学习目标检测网络yolov4的网络整体结构；
图3为本发明实施例部分提供的深度学习目标检测网络yolov4的子模块结构图；
图4为本发明实施例部分提供的使用k均值聚类算法得出的教室主方向直线；
图5为本发明实施例部分提供的教室前三排区域包围盒结果图像。
具体实施方式
下面将结合附图和实施例对本发明作详细说明。
图1为本实施例的流程图，包括以下步骤：
步骤1：训练检测课桌的深度学习目标检测模型，并检测出输入图像Iinput中每个课桌的包围盒，记所有课桌的包围盒集合为Binput；所述图像Iinput为有多排课桌的教室场景，本实施例中图像Iinput为智慧教室场景。
步骤2：利用直线检测算法检测出图像Iinput中所有直线。
步骤3：对检测出的直线，利用聚类算法计计算出教室主方向，所述教室主方向定义为课桌横向排列的方向，如图4所示为得出的教室主方向的效果，本实施例绘制了若干黑色直线表示。
步骤4：利用步骤3得到的教室主方向，对步骤1得到的包围盒集合Binput进行仿射变换，这里也就是作旋转，得到旋转后的包围盒集合Brotate。
步骤5：利用步骤3得到的教室主方向，对图像Iinput进行仿射变换，这里也就是得到旋转后的图像Irotate。
步骤6：对步骤4得到的包围盒集合Brotate执行k均值聚类算法，得到多个包围盒聚类簇，同个包围盒聚类簇中的目标大部分是同一排的课桌。
步骤7：对于步骤6得到的聚类簇，计算聚类中心之间的差值和阙值，并合并聚类簇，合并后的聚类簇中每个聚类簇的包围盒是同排课桌的包围盒。
步骤8：对于步骤7得到的合并后的聚类簇，根据需要取出连续多排课桌的包围盒，记取出的连续多排课桌的包围盒集合为Bmultirow。本实施例中，取出前三排课桌的包围盒。
步骤9：计算一个区域包围盒Bmf，能够包含步骤8中的前三排课桌包围盒集合Bmultirow。
步骤10：将步骤9得到的区域包围盒Bmf绘制在步骤5得到的图像Irotate上，获得包含区域包围盒Bmf的图像Irotate-mf。
步骤11：利用步骤3得到的教室主方向，对步骤10获得的图像Irotate-mf做逆仿射变换，得到结果图像Iresult-mf，如图5所示为最终的效果图，黑色包围盒是区域包围盒Bmf经过逆仿射变换得到的结果。
本实施例中，步骤1包括如下步骤：
步骤1-1：利用爬虫技术，从网络下载足量教室场景课桌图像，本实施例中下载2000多张教室课桌图片。
步骤1-2：利用图像标注工具对步骤1-1获得的教室课桌图像标注课桌，将标注后的教室课桌图像作为检测课桌的深度学习目标检测模型的学习训练集，这里利用labelImg工具进行标注，它是一种标注训练图像的包围盒的工具，直接可以百度搜索下载。所述检测课桌的深度学习目标检测模型采用yolov4目标检测网络。
步骤1-3：构造yolov4目标检测网络，yolov4目标检测网络总体结构如图2所示。yolov4的主干采用CSPDarknet53，脖颈采用路径聚合网络PAN，检测头采用yolo，分别如图2中上、左下和右下虚线框框出的结构。其中主干网络用于通过连续地卷积和下采样操作提取图像的语义信息，脖颈部分针对图像中目标大小变化问题，构造出多个尺度的特征映射用于检测，同时融合了低层的高精度和高层的强语义更有利于检测，检测头是网络的检测头部分，用于生成网络的包围盒，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果。yolov4目标检测网络包含了一些子模块，子模块的结构如图3所示，yolov4目标检测网络是相似或者相同的子结构组成。
第一卷积块的CBM代表卷积、批归一化和Mish激活函数三个部分组成的一个子结构。
第二卷积块的CBL代表卷积、批归一化和Leaky激活函数三个部分组成的一个子结构。空间金字塔池化SPP(Spatial Pyramid Pooling)代表多种池化窗口池化操作组成的子模块。残差单元Res_unit代表第一卷积块跳跃连接组成的残差子模块。残差块主体Resn代表第一卷积块和若干残差单元组成的子模块。跨阶段局部块主体CSPn代表零填充、第一卷积块和接合操作组成的子模块。
步骤1-4：利用预训练权重初始化yolov4目标检测网络的主干网络，许多的深度学习目标检测模型的主干网络是使用在ImageNet图像分类数据集上预训练后的参数初始化的，这样在数据集和时间有限情况下更容易获得较好效果。其余部分按需初始化。
步骤1-5：利用步骤1-2的训练集，对步骤1-4的yolov4目标检测网络模型进行训练，得到能够检测未用来训练的图像内课桌目标的可用泛化模型。
步骤1-6：将图像Iinput输入至步骤1-5中的泛化模型，通过泛化模型检测出图像Iinput中的课桌，得到一系列框住图像中桌子的包围盒，包围盒集合记为Binput。
本实施例中，步骤2包括以下步骤：
步骤2-1：选择合适的直线检测方法，这里使用霍夫变换，用于检测出图像Iinput中所有直线。
步骤2-2：利用步骤2-1中的霍夫变换，选择合适的参数值检测出图像Iinput中的直线，参数值设置要求过滤掉较多短直线，留下较多长直线。这样后面留下的大多是桌子的棱的直线。霍夫变换的参数值依据实际场景效果自行设置。
本实施例中，步骤3包括以下步骤：
步骤3-1：对步骤2中得到的直线执行k均值聚类算法，聚类的度量是直线的角度，得到不同角度的直线簇，角度相近的直线会聚集到一个直线簇里。
步骤3-2：由于图像中主要是课桌，并且前面还做了阙值过滤掉杂短直线，这里剩下大多为桌子棱的直线，这里选取直线数量最多的直线簇的聚类中心角度作为主方向，用于后续对包围和原图像进行旋转操作。所述聚类中心角度为直线数量最多的直线簇中所有直线角度的平均值。
本实施例中，步骤4中利用步骤3-2得到的教室主方向，对步骤1-6得到的包围盒集合Binput进行仿射变换，这里是旋转操作，使得同排课桌的包围盒中心大致位于一条水平线上，在图像坐标中，也就是它们的纵坐标相近，这样后续聚类时，纵坐标相近会聚集成一个簇。
本实施例中，步骤5中利用步骤3-2得到的教室主方向，对图像Iinput进行仿射变换，这里是旋转操作，得到旋转后的图像Irotate，图像Irotate的教室主方向直线与坐标系x轴近似平行。
本实施例中，步骤6中对步骤4得到的包围盒集合Brotate执行k均值聚类算法，聚类的度量是包围盒集合Brotate中包围盒中心的纵坐标，得到相应的课桌包围盒聚类簇，由于同一排纵坐标相近，会被聚集到同一个聚类簇里。
本实施例中，步骤7方法包括以下步骤：
步骤7-1：对步骤6得到的包围盒聚类簇，按照聚类中心的大小降序排列，使得前排课桌的簇靠前，后排课桌簇靠后；所述包围盒聚类簇的聚类中心指每个聚类簇中包围盒中心纵坐标的平均值；
步骤7-2：从第二个聚类簇开始顺序计算每个聚类簇与前一个聚类簇之间的聚类中心差值；
步骤7-3：计算这些差值的均值和标准差，并将阙值设置为均值和标准差的加权和，可以调试出合适的加权权值，使结果更加鲁棒；本实施例中，均值的加权系数为1，标准差的加权系数为0.25；
步骤7-4：从第二个聚类簇开始依次比较差值和阙值大小，如果差值小于阙值或者小于阙值一定范围，则判定这个聚类簇和前一个聚类簇属于同一个聚类簇，将这个聚类簇和前一个聚类簇合并为一个聚类簇，重新计算合并后的聚类簇的聚类中心；
步骤7-5：重复执行步骤7-2～步骤7-4，获得合并后的所有聚类簇，合并后的所有聚类簇中每个聚类簇的包围盒是同排课桌的包围盒。本实施例中，后续选取前三排课桌包围盒进行处理，因此从第四个聚类簇开始剩下的聚类簇无需执行此步骤。
本实施例中，步骤9中计算区域包围盒Bmf，其可以包含连续多排课桌包围盒集合Bmultirow中所有的课桌包围盒，记连续多排课桌包围盒集合Bmultirow中所有包围盒四个顶点中横坐标最小值为xmin，横坐标最大值为xmax，纵坐标最小值为ymin，纵坐标最大值为ymax，则区域包围盒Bmf的四个顶点坐标分别为(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax)。
本发明提供了一种基于机器学习的教室课桌检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (9)
1.一种基于机器学习的教室课桌检测方法，其特征在于，包括以下步骤：
步骤1：训练出检测课桌的深度学习目标检测模型，并检测出输入图像 Iinput中每个课桌的包围盒，记所有课桌的包围盒集合为 Binput；所述图像 Iinput为有多排课桌的教室场景；
步骤2：利用直线检测算法检测出图像 Iinput中所有直线；
步骤3：对检测出的直线，利用聚类算法计算出教室主方向，所述教室主方向为教室课桌横向排列的方向；
步骤4：利用步骤3得到的教室主方向，对步骤1得到的包围盒集合 Binput中的所有包围盒进行仿射变换，得到旋转后的包围盒集合Brotate；
步骤5：利用步骤3得到的教室主方向，对图像Iinput进行仿射变换，得到旋转后的图像Irotate；
步骤6：对步骤4得到的包围盒集合Brotate执行k均值聚类算法，聚类的度量是包围盒集合Brotate中包围盒中心的纵坐标，得到相应的课桌包围盒聚类簇；
步骤7：对于步骤6得到的聚类簇，计算聚类中心之间的差值和阈值，并合并聚类簇，合并后的聚类簇中每个聚类簇的包围盒是同排课桌的包围盒；
步骤8：对于步骤7得到的合并后的聚类簇，根据需要取出连续多排课桌的包围盒，记取出的连续多排课桌的包围盒集合为Bmultirow；
步骤9：计算区域包围盒Bmf，所述包围盒Bmf能够包含步骤8中的连续多排课桌包围盒集合Bmultirow中所有的包围盒；
步骤10：将步骤9得到的区域包围盒Bmf绘制在步骤5得到的图像Irotate上，获得包含区域包围盒Bmf的图像Irotate-mf；
步骤11：利用步骤3得到的教室主方向，对步骤10获得的图像 Irotate-mf 做逆仿射变换，得到结果图像 Iresult-mf。
2.根据权利要求1所述的基于机器学习的教室课桌检测方法，其特征在于，步骤1包括如下步骤：
步骤1-1：利用爬虫技术，从网络下载教室课桌图像；
步骤1-2：利用图像标注工具对步骤1-1获得的教室课桌图像标注课桌目标，将标注后的教室课桌图像作为检测课桌的深度学习目标检测模型的学习训练集，所述检测课桌的深度学习目标检测模型采用yolov4目标检测网络；
步骤1-3：构造yolov4目标检测网络，yolov4的主干网络采用CSPDarknet53，脖颈网络采用路径聚合网络PAN，检测头部分采用yolo的方法，主干网络用于通过连续地卷积和下采样提取图像的基本特征，脖颈网络针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合了低层的较强细节、定位信息和高层的强语义信息，检测头部分用于生成所有包围盒，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；
步骤1-4：利用预训练权重初始化yolov4目标检测网络的主干网络；
步骤1-5：利用步骤1-2的训练集，对步骤1-4的yolov4目标检测网络进行训练，得到能够检测课桌目标的泛化模型；
步骤1-6：将图像 Iinput输入至步骤1-5中的泛化模型，通过泛化模型检测出图像Iinput中的每个课桌，得到所有课桌的包围盒集合Binput。
3.根据权利要求2所述的基于机器学习的教室课桌检测方法，其特征在于，步骤2包括以下步骤：
步骤2-1：选择霍夫变换作为直线检测算法；
步骤2-2：利用步骤2-1中的霍夫变换，设置参数值检测出图像Iinput中的直线，参数值设置要求过滤掉短直线，留下长直线；以图像Iinput左上角为原点建立坐标系，图像宽度方向为x轴，图像高度方向为y轴，直线的角度为直线与x轴的角度。
4.根据权利要求3所述的基于机器学习的教室课桌检测方法，其特征在于，步骤3包括以下步骤：
步骤3-1：对步骤2中得到的直线执行k均值聚类算法，聚类的度量是直线的角度；得到不同角度的直线簇，角度相近的直线会聚集到一个直线簇里；
步骤3-2：选取直线数量最多的直线簇的聚类中心角度作为教室主方向，所述聚类中心角度为直线数量最多的直线簇中所有直线角度的平均值。
5.根据权利要求4所述的基于机器学习的教室课桌检测方法，其特征在于，步骤4中利用步骤3-2得到的教室主方向，对步骤1-6得到的包围盒集合Binput中所有的包围盒进行仿射变换，使得同排课桌的包围盒中心大致位于一条水平线上，即仿射变换后，同排课桌的包围盒中心的纵坐标相近；所述水平线与坐标系x轴近似平行。
6.根据权利要求5所述的基于机器学习的教室课桌检测方法，其特征在于，步骤5中利用步骤3-2得到的教室主方向，对图像Iinput进行仿射变换，使得原本的教室主方向直线与坐标系x轴平行，得到旋转后的图像Irotate。
7.根据权利要求6所述的基于机器学习的教室课桌检测方法，其特征在于，步骤7包括以下步骤：
步骤7-1：对步骤6得到的包围盒聚类簇，按照它们的聚类中心大小进行降序排列，使得前排课桌的聚类簇靠前，后排课桌的聚类簇靠后；所述包围盒聚类簇的聚类中心指每个聚类簇中包围盒中心纵坐标的平均值；
步骤7-2：从第二个聚类簇开始顺序计算每个聚类簇与前一个聚类簇之间的聚类中心差值；
步骤7-3：计算这些差值的均值和标准差，并将阈值设置为均值和标准差的加权和；
步骤7-4：从第二个聚类簇开始依次比较差值和阈值大小，如果差值小于阈值，则判定这个聚类簇和前一个聚类簇属于同一个聚类簇，将这个聚类簇和前一个聚类簇合并为一个聚类簇，重新计算合并后的聚类簇的聚类中心；
步骤7-5：重复执行步骤7-2～步骤7-4，获得合并后的所有聚类簇，合并后的所有聚类簇中每个聚类簇的包围盒是同排课桌的包围盒。
8.根据权利要求7所述的基于机器学习的教室课桌检测方法，其特征在于，步骤9中计算区域包围盒Bmf，区域包围盒Bmf能够包含连续多排课桌包围盒集合Bmultirow中所有的课桌包围盒，记连续多排课桌包围盒集合Bmultirow中所有包围盒四个顶点中横坐标最小值为xmin，横坐标最大值为xmax，纵坐标最小值为ymin，纵坐标最大值为ymax，则区域包围盒Bmf的四个顶点坐标分别为(xmin,ymin)、(xmin,ymax)、(xmax,ymin)和(xmax,ymax)。
9.根据权利要求2所述的基于机器学习的教室课桌检测方法，其特征在于，所述步骤1-2中的图像标注工具为labelImg 工具。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576394.7A CN112686128B (zh) | 2020-12-28 | 2020-12-28 | 基于机器学习的教室课桌检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576394.7A CN112686128B (zh) | 2020-12-28 | 2020-12-28 | 基于机器学习的教室课桌检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686128A CN112686128A (zh) | 2021-04-20 |
| CN112686128B true CN112686128B (zh) | 2022-10-14 |
Family
ID=75452246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576394.7A Active CN112686128B (zh) | 2020-12-28 | 2020-12-28 | 基于机器学习的教室课桌检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686128B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
| CN111353468A (zh) * | 2020-03-13 | 2020-06-30 | 玉林师范学院 | 一种课堂学生行为检测方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL9200418A (nl) * | 1992-03-06 | 1993-10-01 | Lely Nv C Van Der | Inrichting voor het melken van dieren. |
| SG162817A1 (en) * | 2005-06-17 | 2010-07-29 | Mannkind Corp | Methods and compositions.to elicit multivalent immune responses against dominant and subdominant epitopes, expressed on cancer cells and tumor stroma |
| CN104899556A (zh) * | 2015-05-14 | 2015-09-09 | 中国农业大学 | 基于图像识别的教室人数统计系统 |
| CN107464257B (zh) * | 2017-05-04 | 2020-02-18 | 中国人民解放军陆军工程大学 | 宽基线匹配方法及装置 |
| CN107808376B (zh) * | 2017-10-31 | 2022-03-11 | 上海交通大学 | 一种基于深度学习的举手检测方法 |
| CN108109220A (zh) * | 2017-12-29 | 2018-06-01 | 贵州理工学院 | 一种基于监控摄像头的教室考勤统计系统 |
| CN108982901B (zh) * | 2018-06-14 | 2020-06-09 | 哈尔滨工业大学 | 一种匀速旋转体的转速测量方法 |
| CN109325418A (zh) * | 2018-08-23 | 2019-02-12 | 华南理工大学 | 基于改进YOLOv3的道路交通环境下行人识别方法 |
| CN110717492B (zh) * | 2019-10-16 | 2022-06-21 | 电子科技大学 | 基于联合特征的图纸中字符串方向校正方法 |
| CN111666941B (zh) * | 2020-06-12 | 2024-03-29 | 北京达佳互联信息技术有限公司 | 一种文本检测方法、装置及电子设备 |
-
2020
- 2020-12-28 CN CN202011576394.7A patent/CN112686128B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
| CN111353468A (zh) * | 2020-03-13 | 2020-06-30 | 玉林师范学院 | 一种课堂学生行为检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于人工智能视频处理的课堂学生状态分析;贾鹂宇等;《现代教育技术》;20191215(第12期);全文 * |
| 基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测;白捷等;《广西师范大学学报(自然科学版)》;20200925(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686128A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657279B (zh) | 一种基于少量样本的遥感目标检测方法 | |
| CN103324937B (zh) | 标注目标的方法和装置 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
| CN108073888A (zh) | 一种教学辅助方法及采用该方法的教学辅助系统 | |
| CN108898620A (zh) | 基于多重孪生神经网络与区域神经网络的目标跟踪方法 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN105335725A (zh) | 一种基于特征融合的步态识别身份认证方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN107392251B (zh) | 一种使用分类图片提升目标检测网络性能的方法 | |
| CN112001219B (zh) | 一种多角度多人脸识别考勤方法及系统 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
| CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN114627553A (zh) | 一种基于卷积神经网络的教室场景学生行为检测的方法 | |
| CN108932471B (zh) | 一种车辆检测方法 | |
| CN111582654B (zh) | 基于深度循环神经网络的服务质量评价方法及其装置 | |
| CN112686128B (zh) | 基于机器学习的教室课桌检测方法 | |
| CN115471773B (zh) | 一种面向智慧教室的学生跟踪方法及系统 | |
| CN110232314A (zh) | 一种基于改进的Hog特征结合神经网络的图像行人检测方法 | |
| CN111291769B (zh) | 一种高铁接触网异物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |