CN113591703A - 一种教室内人员定位方法及教室综合管理系统 - Google Patents

一种教室内人员定位方法及教室综合管理系统 Download PDF

Info

Publication number
CN113591703A
CN113591703A CN202110870797.0A CN202110870797A CN113591703A CN 113591703 A CN113591703 A CN 113591703A CN 202110870797 A CN202110870797 A CN 202110870797A CN 113591703 A CN113591703 A CN 113591703A
Authority
CN
China
Prior art keywords
classroom
personnel
person
students
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110870797.0A
Other languages
English (en)
Other versions
CN113591703B (zh
Inventor
张运楚
王超
孙绍涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202110870797.0A priority Critical patent/CN113591703B/zh
Publication of CN113591703A publication Critical patent/CN113591703A/zh
Application granted granted Critical
Publication of CN113591703B publication Critical patent/CN113591703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种教室内人员定位方法及教室综合管理系统,所述定位方法包括:获取教室内全景图像;进行人员检测,若检测到人员,对所述全景图像进行透视变换校正;对校正后的全景图像进行网格划分,得到所述人员所在网格位置,即人员所在座位的信息。本发明针对教室这一特定环境,实现了人员的精确定位,能够应用于教室的分区能源管理、学生考勤和高校疫情防控。

Description

一种教室内人员定位方法及教室综合管理系统
技术领域
本发明属于智慧教室技术领域,尤其涉及一种教室内人员定位方法及教室综合管理系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
教室作为学校开展教学和学生学习交流的重要场所,大多都采用分时段开放式的自由管理运作模式。教室设备的开放式管理虽然使学生之间的学习交流更加方便,但由于学生的流动性大、缺乏高效管理自动化配套系统,以及学生的节约电能的意识不强等原因,经常出现教室里仅有一两个人,甚至在无人的情况下,教室里面所有的灯具、空调或者风扇等耗能设备长期处于运行状态,“长明灯”现象比比皆是,造成大量的电能浪费,也增加了学校财务负担。尽管目前已有学者提出教室的智能灯光管理方法,实现了基于教室内人员所在位置对灯光进行管控,但是,其仅考虑是否有人,有人即控制相应区域的灯光开启,没有考虑人员与座位的比例,如果人很少但是坐的非常分散,仍然需要整个教室的灯光开启,因此节能效果有限。
再者,由于学生的流动性大,在发生公共卫生安全事件时,难以对学生及其影响人群进行追溯,不利于疫情防控。因此,有必要对学生在课堂上的位置及其身份信息进行识别。但目前未有此方面的相关技术。
对于学生的身份信息识别,其在课程考勤方面有较多的应用。目前常见的考勤系统,一类是以移动物联网技术为主的考勤系统,如WIFI技术、ZigBee技术、RFID技术等,主要以手机终端实现,存在代签、漏签的情况;另一类是依靠生物特征识别进行考勤,如人脸识别、指纹识别、虹膜识别等,其需要专门的识别设备,常常需要排队进行人脸识别或指纹识别,容易造成拥堵,效率比较低。
发明内容
为克服上述现有技术的不足,本发明提供了一种教室内人员定位方法及教室综合管理系统,针对教室这一特定环境,实现了人员的精确定位和身份识别,能够应用于教室的分区能源管理、学生考勤和高校疫情防控。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种教室内人员定位方法,包括以下步骤:
获取教室内全景图像;
进行人员检测,若检测到人员,对所述全景图像进行透视变换校正;
对校正后的全景图像进行网格划分,得到所述人员所在网格位置,即人员所在座位的信息。
进一步地,所述人员检测包括:
对于周期性获取的连续多张全景图像,分别进行人脸检测和人体检测,得到包围人脸和人体的包围框,筛选确定人员所在位置在图像中的坐标;
对采用不同方法从全景图像获取的人员位置坐标进行融合聚类,将聚类中心的坐标位置作为人员所在位置。
进一步地,若检测到人员,还控制PTZ凝视摄像机获取人员的高清晰人脸图像,并进行人脸识别,确定所述人员身份信息。
进一步地,所述人脸识别包括:
采用预训练的人脸识别模型对人脸图像进行特征提取,得到特征向量;
将所述特征向量与已注册人员人脸图像的特征向量进行匹配,确定人员身份信息。
进一步地,确定人员身份信息后,还将识别出的人员身份信息与其所在座位对应匹配,生成带有身份信息的座次表。
一个或多个实施例提供了一种教室能源管理方法,预先将教室进行区域划分,并获取各个区域内的座位数;所述方法包括以下步骤:
获取教室内全景图像;
基于上述教室内人员定位方法确定教室内人员所在的座位;
根据教室的区域划分,统计各个分区内的人数;
根据分区内人数进行分区灯光控制:若存在没有人的分区,则控制该分区内灯光关闭;若存在有人的分区,则根据总人数和座位数的关系,控制一个或多个区域的灯光关闭。
一个或多个实施例提供了一种课堂考勤方法,包括以下步骤:
获取教室内全景图像;
基于上述教室内人员定位方法确定学生所在座位和学生身份信息;
将学生身份信息与所述教室当前授课班级的相应学生信息进行对比,进行考勤管理。
一个或多个实施例提供了一种学生信息查询方法,包括以下步骤:
基于获取一段时间各个教室带有身份信息的座次表数据,并构建时空索引;
对待查询学生和其周围学生进行轨迹重构。
一个或多个实施例提供了一种教室综合管理系统,包括:
图像获取模块,被配置为实时获取教室内全景图像;
位置检测模块,被配置为根据教室内全景图像进行人员识别,并确定人员所在座位;
能源管理模块,被配置为实现所述的能源管理方法;
身份识别模块,被配置为对在座学生进行身份识别,并将识别出的学生身份信息对应存储至该教室的座次表中;
课堂考勤模块,被配置为当教室处于课堂时间时,实现所述的课堂考勤方法;
学生信息查询模块,被配置为实现所述的学生信息查询方法。
进一步地,还包括:
教室管理模块,被配置为对各个教室的座次表、各个教室的使用课程表、各个教室所设置的摄像机设备信息,各个教室的分区进行管理;
教学管理模块,被配置为对学生信息和课程安排进行管理。
以上一个或多个技术方案存在以下有益效果:
提出了一种教室内人员定位方法,基于透视变换和网格划分获取了教室内座位分布以及人员所在座位,相较于传统的室内定位方法,本方法针对教室这一特定环境,实现了人员的精确定位,人员的精确定位有助于实现教室的分区能源管理。
在进行了人员精确定位的基础上,还进行了人员身份识别,从而得知人员身份与座位的对应关系,能够对学生轨迹进行快速追溯,并且快速锁定可以受影响的其他人员,对于应对高校疫情防控具有重要意义。此外,也有助于实现非侵入式感知的课堂考勤管理。
其中,人员检测采用人脸识别和人身识别相结合的方法,对于教室这类容易存在人员遮挡的环境,具有很高的识别精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例一至四中教室内人员定位方法及其应用的具体流程图;
图2为本发明实施例一人脸检测和人身检测融合的位置检测流程图;
图3为本发明实施例一中人脸识别流程图;
图4为本发明实施例一中人脸识别与计数流程图;
图5为本发明实施例一中透视变换原理图;
图6为本发明实施例一中网格化计算效果图;
图7为本发明实施例二中分区照明控制策略流程图;
图8为本发明实施例三中轨迹数据挖掘流程图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例的目的是实现教室内人员所在座位的定位,在此基础上,结合人员信息的获取,能够实现课堂的考勤管理;对人员所在座位进行统计分析,能够实现教室的能源管理;通过记录学生的位置,能够在发生国家公共卫生事件时,对学生进行快速追溯,并且快速锁定可以受影响的其他人员。基于上述目的,本实施例提供了一种教室内人员定位方法。所述方法具体包括:
步骤1:获取教室内全景图像;
所述步骤1中,所述的全景图像包含整个教室的座位。根据不同应用场景,获取不同时段的教室内全景图像。具体地,若用于考勤管理,仅需获取上课期间的全景图像,若用于能源管理和公共卫生安全防控,则需获取教学楼开放时段内教室全景图像。
具体地,通过全景摄像机周期性的获取教室里的全景图像。
本实施例中,采用壁装方式将全景凝视摄像机安装在黑板正上方3.3米处,正前方的全景定焦相机对整个教室进行取景,图像中涵盖教室内所有座位,采用每间隔10s对教室图像进行采集。具体为所述的全景凝视摄像机,包括一个定焦为6mm、水平视场角为60°的全景摄像机(又称主摄像机),和一个13-52mm可变焦的、水平范围0-210°、垂直范围-15°-22°的PTZ凝视摄像机(又称从摄像机)。
步骤2:进行人员检测,若检测到人员,对所述全景图像进行透视变换校正;
所述步骤2中进行人员检测具体包括:
步骤2-1:进行人员检测,通过人员检测判断是否为空教室,当检测到教室内有人时,进入步骤2-2;
步骤2-2:采用人脸检测和人体检测相结合的方法,获取人员位置信息。本实施例中,人脸检测采用Retinaface方法,人体检测采用深度学习目标检测算法YOLOv5。具体地,所述步骤2-2具体包括:
步骤2-2-1:置于Retinaface人脸检测器,设置置信度为0.5,NMS阈值为0.4,检测出来的人脸框包括五个关键点与一个预测框;
步骤2-2-2:将图像置于YOLOv5检测器,设置置信度为0.5,NMS阈值为0.45,检测结果为包围人体的矩形框;
步骤2-2-3:经过检测器处理后的图像包含人体目标与人脸目标检测的包围框,由于两种检测结果会融合在一起,最后通过筛选策略确定每个人在图像中的具体坐标,并对人数进行计数;
步骤2-2-4:对于连续的多张全景图像,均执行步骤2-2-1至2-2-3,获取多个检测结果,通过K-means聚类算法对多张图片检测结果进行聚类,将教室人数作为聚类的K值,得到K个聚类中心值作为每个人的位置。
由于教室大场景中存在面部遮挡问题,则同时将人脸检测和人体检测相结合,能够更精确的对人员进行识别。
采用透视变换进行全景图像校正包括:
由于在全景图像中座位区域会出现梯形畸变,需对全景图像座位进行透视变换校正。获取变换前座位区域的四个角点坐标(左上、左下、右下、右上)和变换后的四个角点坐标,计算变换矩阵从而获得矫正后的近似矩形图。对图像进行网格化,分出行、列信息,所述透视变换的变换矩阵求取方法如下:
由于涉及的是二维图形的变换,a33=1,源点的四个坐标为A:(x0,y0),(x1,y1),(x2,y2),(x3,y3),目标点四个坐标分别为B:(X0,Y0),(X1,Y1),(X2,Y2),(X3,Y3),根据上述坐标估计透视变换矩阵的参数。设u,v是原始图像坐标,x,y是变换后坐标,矩阵为变换矩阵,通用的变换公式为:
Figure BDA0003188818470000071
步骤3:对校正后的全景图像进行网格划分,得到所述人员所在网格位置,即人员所在座位的信息。
所述步骤3中,对校正后图像进行网格划分,得到该教室的座位分布数据,对教室座位分布数据进行行列标注,即得到该教室的座次信息;人员所在行列信息即人员所在座位。
为了使得网格划分结果与实际座位的分布一致,事先对不同座位排布的教室进行标定。由教室座位梯形畸变与校正的性质可知,校正后的前后座位之间在水平方向上几乎均等而在竖直方向上前排间隔大、后排间隔小,以特定的教室场景给出算法公式如下,示意图如图6所示。
假设教室一排共n列m排,设校正后的图像宽为W、高为H,则水平间隔均分为w=W/n,逐排测量前后间距组成数组[h0...hm-1],假设此时的位置坐标(x,y),座次为(a,b),bias1为水平位置偏移量,bias2为垂直偏移量,通过偏移量对当前位置进行校正。具体地,b=int((x-bias1)//w)+1。对于a,具体计算方法为:将(y+bias2)与每一排的位置进行对比,确定属于哪一排,例如,若hm-1<y+bias2<=hm-2,则a=m-1。
在上述步骤2识别出人员所在座位的基础上,所述方法还包括:
步骤4:根据学生在教室中所在的座位,控制PTZ凝视摄像机获取每个学生的人脸图像。
具体地,通过全景、凝视主从摄像机的关系映射模型,根据学生在图像中的相对位置信息,计算云台参数即PTZ凝视摄像机的垂直、水平旋转角度、变焦的倍数,然后驱动PTZ凝视摄像机获取清晰的人脸图像并存储。作为一种具体的实现方式,可以根据学生在图像中的位置信息,计算PTZ凝视摄像机拍摄各个学生人脸所需的参数设置,并发送至PTZ凝视摄像机,从而获取每个学生清晰的人脸图像。作为另一种具体的实现方式,根据教室的座位位置,提前建立PTZ凝视摄像机与全景摄像机的PTZ映射关系,从而根据目标的位置自动调整旋转角度和焦距。具体包括:
步骤4-1:提出十七点标定法,建立全景、凝视主从摄像机标定模型,建立全景摄像机与PTZ凝视摄像机之间的空间映射关系。
步骤4-2:通过使用十七个20×20的参考区域获得全景摄像机和PTZ凝视摄像机之间的匹配点,并将匹配点定位在PTZ凝视摄像机的视场中心,从而获得PTZ凝视摄像机的左右(Pan)、上下(Tilt)值。
步骤4-3:由步骤2已知学生目标在全景图像中的像素值,采用最近邻插值法,输出该像素点对应的PTZ凝视摄像机的左右(Pan)、上下(Tilt)控制参数P、T值。
步骤4-4:忽略全景摄像机的边界畸变问题,对于一个目标坐标M(x,y),利用相邻的四个标定像素的线性关系求M(x,y)对应的P、T值。
步骤4-5:Z值(Zoom)的计算。D1、D2分别为原始目标成像尺寸和变焦后的目标成像尺寸,Mag为调整的镜头倍数。
镜头焦距计算为:
Figure BDA0003188818470000091
通过全景摄像机获取整个教室的监控画面,利用PTZ凝视摄像机获取清晰人脸,有效解决大场景中人脸识别率低的问题。
所述的主从摄像机的映射关系是一种目标驱动的自动控制算法,这种控制算法可以根据目标的位置自动调整旋转角度和焦距。为了使整个系统更加便捷,对教室的每个座次位置预先设定相对应的焦距、垂直水平角度。在获得学生位置信息后直接获取PTZ参数驱动从摄像机,提升获取清晰人脸图像的准确率与效率。
步骤5:将获取的人脸图像与预先存储的学生人脸图像进行匹配,获取学生身份信息。
具体地,调用已注册的学生人脸信息库,与Facenet人脸识别算法提取的人脸特征依据欧氏距离进行匹配,获得身份信息。人脸识别模块采用基于MTCNN+FaceNet算法分为图像采集、人脸检测、人脸校正、图像预处理、特征提取和人脸识别等步骤。具体为:
步骤5-1:为了能够弥补可能存在的光线不足的情况,为了进一步优化技术方案,光照补偿算法采用Zero-DCE算法,以提高识别率,该算法设计了一个二次曲线
LE(I(x);α)=I(x)+αI(x)(1-I(x))
其中,x是像素坐标,LE(I(x);α)为输入图像I(x)的增强结果,α∈[-1,1]。在输入的RGB通道分别应用,这可以更好地保持固有颜色以及避免过拟合,还能增加/减少输入图像的动态范围,这样不仅可以增强low-light区域,还可以避免过度曝光。
步骤5-2:图像采集;将获得的清晰人脸图像输入到人脸识别器。
步骤5-3:人脸检测;Facenet人脸识别算法中也包含MTCNN人脸检测算法,用于检测输入图像中是否有人脸。所述的预训练人脸识别模型为基于公开的数据集结合注册的人脸数据集,预采用FaceNet识别算法进行模型预训练。具体地,采用FaceNet识别算法基于三元组Triplet Loss损失函数进行模型预训练,输出128维度的特征向量,得到预训练模型。
步骤5-4:人脸校正;校正检测到的人脸图像以供识别。
步骤5-5:图像预处理;将人脸区域进行裁剪为160×160的图像。
步骤5-6:特征提取与识别;聚焦后获取的清晰人脸图像由训练好的模型进行特征向量提取,通过欧式空间距离与注册好的特征向量进行匹配计算,获得身份信息。
步骤5-7:计算公式为:
Figure BDA0003188818470000101
Figure BDA0003188818470000102
若因聚焦获取的图像不清晰或因为阈值设定导致存在未识别现象。则需要对该人脸继续进行PTZ凝视摄像机聚焦获取图像,即返回步骤3。若获取次数超过设定阈值次数,则认定该学生的身份信息为陌生学生。保证了能够获得更完备的人员身份信息,避免错误识别与遗漏。
步骤6:将学生身份信息及其所在座位进行关联存储。
具体地,结合所述教室的座次信息,将人员身份、人员所在位置信息、教室号和当前时间信息进行关联存储。本实施例中,基于座位分布数据生成虚拟二维座次表,基于所述行列号信息将相应人员的身份信息对应存储到座次表中,得到带有身份信息的座次表,以表格形式存储到数据库。
在上述教室内人员定位方法的基础上,本实施例还提供了一种电子设备和一种计算机可读存储介质。
具体地,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述教室内人员定位方法。所述计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述教室内人员定位方法。
实施例二
在实施例一提供了一种教室内人员定位方法的基础上,尤其是在实施例一基于步骤1-3实现了人员所在位置确定的基础上,本实施例提供了一种教室能源管理方法,以教室内的实时人数信息、位置信息实现能源管理系统的分区域控灯、诱导就座、人走灯灭节约能源。预先将教室进行区域划分,并获取各个区域内的座位数。所述方法具体包括:
步骤1:获取教室内全景图像。
步骤2:基于上述实施例一种的所述方法确定教室内人员所在的座位。
步骤3:根据教室的区域划分,统计各个分区内的人数;
步骤4:根据分区内人数进行分区灯光控制:若存在没有人的分区,则控制该分区内灯光关闭;若存在有人的分区,则根据总人数和座位数的关系,控制一个或多个区域的灯光关闭。
具体地,设置分区控制策略,结合不同时刻的光线照度,为每个区域的灯控划分优先级,分区域诱导学生就座。教室无学生时结合灯管开关次数与灯管寿命关系以及教室平均无人的时间间隔信息,设置延时关闭灯光模块。
本实施例中,将教室划分为独立的三个区域,依据控制策略分区域进行灯光控制,如图7所示,假设PA是A分区人数,PB是B分区人数,PC是C区人数;SA是A分区座位数,SB是B分区座位数,SC是C分区座位数;T为设置的延时时间(单位:分钟);根据分区内人数进行分区灯光控制包括:
(1)若所有分区内都没有人,达到预设的关闭灯光延时则控制关闭所有灯光;若存在没有人的分区,则控制该分区内灯光延时T关闭;若存在有人的分区,计算总人数P=PA+PB+PC,进入步骤(2);
(2)若P小于第一阈值,控制两个分区灯光关闭;若P大于等于第一阈值且小于第二阈值,控制一个分区灯光关闭;若P大于等于第二阈值且小于第三阈值,保持灯光全亮。本实施例中,第一阈值为2×SA/3;第二阈值为2×(SA+SC)/3;第三阈值为(SA+SB+SC)。
在上述教室能源管理方法的基础上,本实施例还提供了一种电子设备和一种计算机可读存储介质。
具体地,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述教室能源管理方法。所述计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述教室能源管理方法。
实施例三
在实施例一提供了一种教室内人员定位方法的基础上,本实施例的目的是提供一种课堂学生考勤方法,预先存储院系班级、班级课程表、课程授课班、教室使用课程表、请假信息表等信息,以及学生的人脸图像,并将其与学生身份信息进行关联存储,以便于对学生身份进行认证。所述方法包括以下步骤:
步骤1:获取课堂时间内的教室内全景图像。
具体地,所述步骤1中获取教室内全景图像的方法与实施例一中步骤1一致。
步骤2:采用如实施例一中所述的教室内人员定位方法,得到学生在教室中所在的座位和学生的身份信息。
步骤3:将学生身份信息与所述教室当前授课班级的相应学生信息进行对比,进行考勤管理。
具体地,根据班级课程表、课程授课班、教室使用课程表等数据确定每个教室每节课上课的班级和相应学生。根据所述教室和当前时间,确定所述教室当前的授课班级及相应学生信息,通过将识别出的学生身份信息与其对比,能够实现非侵入式感知的课堂考勤。
实施例四
在实施例一提供了一种教室内人员定位方法的基础上,本实施例的目的是提供一种学生信息查询方法,将识别出的身份信息与座位信息(行、列)结合时间信息,对应到教室的虚拟二维座次表中,并生成表格保存到数据库;将数据库的表格数据以切片时空数据挖掘的方式用于学校疫情防控学生轨迹溯源以及密切接触者的轨迹追踪;具体包括:
步骤1:基于实施例一所述方法获取一段时间各个教室带有身份信息的座次表数据,并构建时空索引;
步骤2:对待查询学生和其周围学生进行轨迹重构。
如图8所示轨迹数据挖掘流程图,对数据库的数据进行常用的数据预处理去除数据中可能存在的错误信息。
步骤3:以切片时空数据挖掘的方式对学生的课堂轨迹进行溯源并可视化轨迹,对周围学生身份信息进行追踪,为学校疫情防控提供依据。
在上述课堂学生管理方法的基础上,本实施例还提供了一种电子设备和一种计算机可读存储介质。
具体地,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述课堂学生管理方法。所述计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述课堂学生管理方法。
实施例五
在实施例一至四提供了教室内人员定位方法及其在考勤、疫情防控和能源管理等方面应用的基础上,本实施例的目的是提供了一种教室综合管理系统。包括:
教室管理模块,被配置为对各个教室的座次表、各个教室的使用课程表、各个教室所设置的摄像机设备信息,各个教室的分区进行管理。对于其中的座次表获取方法、教室的分区方法,具体参见实施例一和实施例二相关部分说明。
教学管理模块,被配置为对学生信息和课程安排进行管理;其中,所述学生信息包括学生身份信息和所在院系班级,课程安排包括各班级课程表。
图像获取模块,被配置为实时获取教室内全景图像并进行存储;
位置检测模块,被配置为根据教室内全景图像进行人员识别,并确定人员所在座位。具体实现方法参见实施例一相关部分说明。
能源管理模块,被配置为根据教室的区域划分,统计各个分区内的人数;根据分区内人数和座位数进行分区灯光控制。具体控制方法参见实施例二相关部分说明。
身份识别模块,被配置为对在座学生进行身份识别,并将识别出的学生身份信息对应存储至该教室的座次表中。具体身份识别方法参见实施例三中相关部分说明。
课堂考勤模块,被配置为当教室处于课堂时间时,获取存有身份信息的座次表,通过与预先存储的学生身份信息进行比对实现考勤管理。具体参见实施例三相关部分说明。
学生信息查询模块,被配置为根据特定时间段,获取相应时间段内的各个教室存有身份信息的座次表,形成每个学生在某时间段在教室位置轨迹与周围人员信息,用于疫情防控的学生轨迹溯源与密切接触者的轨迹追踪。具体参见实施例四相关部分说明。
以上一个或多个实施例公开了一种基于非侵入式感知的教室综合管理方法,在上课期间,全景摄像机周期性获取全景图像,对全景图进行学生位置检测获取位置信息;通过位置信息驱动PTZ凝视摄像机聚焦清晰人脸图像;通过清晰图像识别人脸,将身份信息与座位信息匹配形成考勤信息。本发明还公开了基于非侵入式感知的教室综合管理系统,通过全景凝视摄像机中的全景摄像机获取教室的整个画面,从而快速通过位置检测系统获取教室中学生的位置信息,通过位置信息计算PTZ凝视摄像机的云台控制参数,依次驱动云台聚焦人脸图像,获取清晰的人脸图像。通过精准的识别算法匹配注册的学生信息,结合座位位置信息形成二维表格存储到数据库。为能源管理系统、信息查询系统、课堂考勤系统提供完备的数据依据。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种教室内人员定位方法,其特征在于,包括以下步骤:
获取教室内全景图像;
进行人员检测,若检测到人员,对所述全景图像进行透视变换校正;
对校正后的全景图像进行网格划分,得到所述人员所在网格位置,即人员所在座位的信息。
2.如权利要求1所述的一种教室内人员定位方法,其特征在于,所述人员检测包括:
对于周期性获取的连续多张全景图像,分别进行人脸检测和人体检测,得到包围人脸和人体的包围框,筛选确定人员所在位置在图像中的坐标;
对采用不同方法从全景图像获取的人员位置坐标进行融合聚类,将聚类中心的坐标位置作为人员所在位置。
3.如权利要求1所述的一种教室内人员定位方法,其特征在于,若检测到人员,还控制PTZ凝视摄像机获取人员清晰的人脸图像,并进行人脸识别,确定所述人员身份信息。
4.如权利要求3所述的一种教室内人员定位方法,其特征在于,所述人脸识别包括:
采用预训练的人脸识别模型对人脸图像进行特征提取,得到特征向量;
将所述特征向量与已注册人员人脸图像的特征向量进行匹配,确定人员身份信息。
5.如权利要求3所述的一种教室内人员定位方法,其特征在于,确定人员身份信息后,还将识别出的人员身份信息与其所在座位对应匹配,生成带有身份信息的座次表。
6.一种教室能源管理方法,其特征在于,预先将教室进行区域划分,并获取各个区域内的座位数;所述方法包括以下步骤:
获取教室内全景图像;
基于上述权利要求1-5任一项所述教室内人员定位方法确定教室内人员所在的座位;
根据教室的区域划分,统计各个分区内的人数;
根据分区内人数进行分区灯光控制:若存在没有人的分区,则控制该分区内灯光关闭;若存在有人的分区,则根据总人数和座位数的关系,控制一个或多个区域的灯光关闭。
7.一种课堂考勤方法,其特征在于,包括以下步骤:
获取教室内全景图像;
基于上述权利要求1-5任一项所述教室内人员定位方法确定学生所在座位和学生身份信息;
将学生身份信息与所述教室当前授课班级的相应学生信息进行对比,进行考勤管理。
8.一种学生信息查询方法,其特征在于,包括以下步骤:
基于权利要求1-5任一项所述方法获取一段时间各个教室带有身份信息的座次表数据,并构建时空索引;
对待查询学生和其周围学生进行轨迹重构。
9.一种教室综合管理系统,其特征在于,包括:
图像获取模块,被配置为实时获取教室内全景图像;
位置检测模块,被配置为根据教室内全景图像进行人员识别,并确定人员所在座位;
能源管理模块,被配置为实现如权利要求6所述的能源管理方法;
身份识别模块,被配置为对在座学生进行身份识别,并将识别出的学生身份信息对应存储至该教室的座次表中;
课堂考勤模块,被配置为当教室处于课堂时间时,实现如权利要求7所述的课堂考勤方法;
学生信息查询模块,被配置为实现如权利要求8所述的学生信息查询方法。
10.如权利要求9所述的一种教室综合管理系统,其特征在于,还包括:
教室管理模块,被配置为对各个教室的座次表、各个教室的使用课程表、各个教室所设置的摄像机设备信息,各个教室的分区进行管理;
教学管理模块,被配置为对学生信息和课程安排进行管理。
CN202110870797.0A 2021-07-30 2021-07-30 一种教室内人员定位方法及教室综合管理系统 Active CN113591703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110870797.0A CN113591703B (zh) 2021-07-30 2021-07-30 一种教室内人员定位方法及教室综合管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110870797.0A CN113591703B (zh) 2021-07-30 2021-07-30 一种教室内人员定位方法及教室综合管理系统

Publications (2)

Publication Number Publication Date
CN113591703A true CN113591703A (zh) 2021-11-02
CN113591703B CN113591703B (zh) 2023-11-28

Family

ID=78252584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110870797.0A Active CN113591703B (zh) 2021-07-30 2021-07-30 一种教室内人员定位方法及教室综合管理系统

Country Status (1)

Country Link
CN (1) CN113591703B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114051103A (zh) * 2021-11-11 2022-02-15 陕西师范大学 基于教室清晰拍摄学生表情的摄像头组合的方法及系统
CN116152943A (zh) * 2023-02-23 2023-05-23 广州乐庚信息科技有限公司 一种校园课堂智能考勤的无感知识别方法以及系统
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116563797A (zh) * 2023-07-10 2023-08-08 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645926A (zh) * 2012-05-11 2012-08-22 山东理工大学 一种教室照明以及风扇的智能节能控制系统
CN204631867U (zh) * 2015-05-08 2015-09-09 中华人民共和国北京出入境检验检疫局 一种国境口岸入境人员信息自动采集系统
CN108010530A (zh) * 2017-11-30 2018-05-08 武汉东信同邦信息技术有限公司 一种基于语音识别技术的学生发言检测跟踪装置
CN109035138A (zh) * 2018-08-17 2018-12-18 北京智能管家科技有限公司 会议记录方法、装置、设备和存储介质
CN109598809A (zh) * 2018-12-05 2019-04-09 上海创视通软件技术有限公司 一种基于人脸识别的课堂考勤方法及系统
CN110708392A (zh) * 2019-10-17 2020-01-17 重庆工商职业学院 一种基于云平台的学生管理系统及方法
CN111355884A (zh) * 2019-12-23 2020-06-30 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质
CN111738210A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于音视频的学生心理状态分析方法、装置、终端及介质
CN112036257A (zh) * 2020-08-07 2020-12-04 华中师范大学 一种无感知人脸图像采集方法和系统
CN113076835A (zh) * 2021-03-25 2021-07-06 济南升界软件有限公司 基于回归分析的教学评价方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645926A (zh) * 2012-05-11 2012-08-22 山东理工大学 一种教室照明以及风扇的智能节能控制系统
CN204631867U (zh) * 2015-05-08 2015-09-09 中华人民共和国北京出入境检验检疫局 一种国境口岸入境人员信息自动采集系统
CN108010530A (zh) * 2017-11-30 2018-05-08 武汉东信同邦信息技术有限公司 一种基于语音识别技术的学生发言检测跟踪装置
CN109035138A (zh) * 2018-08-17 2018-12-18 北京智能管家科技有限公司 会议记录方法、装置、设备和存储介质
CN109598809A (zh) * 2018-12-05 2019-04-09 上海创视通软件技术有限公司 一种基于人脸识别的课堂考勤方法及系统
CN110708392A (zh) * 2019-10-17 2020-01-17 重庆工商职业学院 一种基于云平台的学生管理系统及方法
CN111355884A (zh) * 2019-12-23 2020-06-30 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质
CN111738210A (zh) * 2020-07-20 2020-10-02 平安国际智慧城市科技股份有限公司 基于音视频的学生心理状态分析方法、装置、终端及介质
CN112036257A (zh) * 2020-08-07 2020-12-04 华中师范大学 一种无感知人脸图像采集方法和系统
CN113076835A (zh) * 2021-03-25 2021-07-06 济南升界软件有限公司 基于回归分析的教学评价方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方书雅等: ""基于学生人体检测的无感知课堂考勤方法"", 《计算机应用》, pages 2519 - 2524 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114051103A (zh) * 2021-11-11 2022-02-15 陕西师范大学 基于教室清晰拍摄学生表情的摄像头组合的方法及系统
CN116152943A (zh) * 2023-02-23 2023-05-23 广州乐庚信息科技有限公司 一种校园课堂智能考勤的无感知识别方法以及系统
CN116152943B (zh) * 2023-02-23 2024-01-09 广州乐庚信息科技有限公司 一种校园课堂智能考勤的无感知识别方法以及系统
CN116452878A (zh) * 2023-04-20 2023-07-18 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116452878B (zh) * 2023-04-20 2024-02-02 广东工业大学 一种基于深度学习算法与双目视觉的考勤方法及系统
CN116563797A (zh) * 2023-07-10 2023-08-08 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理系统
CN116563797B (zh) * 2023-07-10 2023-10-27 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理系统

Also Published As

Publication number Publication date
CN113591703B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN113591703B (zh) 一种教室内人员定位方法及教室综合管理系统
CN109284737A (zh) 一种用于智慧教室的学生行为分析和识别系统
CN103716595B (zh) 全景拼接摄像机和球机联动控制方法及装置
CN107392120B (zh) 一种基于视线估计的注意力智能监督方法
CN205334563U (zh) 一种学生课堂参与度检测系统
WO2020125499A1 (zh) 一种操作提示方法及眼镜
CN108205658A (zh) 基于单双目视觉融合的障碍物检测预警系统
CN105049764A (zh) 一种基于多个定位摄像头的教学用图像跟踪方法及系统
US20230021863A1 (en) Monitoring method, electronic device and storage medium
CN107655159A (zh) 一种基于人群密度感知模型的空调节能控制方法及系统
CN107654406B (zh) 风扇送风控制设备、风扇送风控制方法及装置
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN108259752A (zh) 一种拍摄方法及系统
CN105578044A (zh) 一种全景位自适应老师图像分析方法
CN106060658B (zh) 一种图像处理方法及装置
CN111131713B (zh) 镜头切换方法、装置、设备与计算机可读存储介质
CN110119723A (zh) 一种基于acnn进行遮挡人脸表情识别方法
CN114627553A (zh) 一种基于卷积神经网络的教室场景学生行为检测的方法
EP3863275B1 (en) System and method for smart image-capturing
CN109218587A (zh) 一种基于双目摄像头的图像采集方法及系统
CN111783691A (zh) 基于畜类图像语义感知的养殖舍影像大数据采集分析方法
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN212112507U (zh) 一种ai智能测温和人脸识别一体装置
CN111582003A (zh) 一种视线跟踪学生教室预防近视系统
CN112101107A (zh) 一种智能网联模型车在环仿真交通信号灯智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant