CN112132079A - 在线教学中监控学生的方法、装置及系统 - Google Patents

在线教学中监控学生的方法、装置及系统 Download PDF

Info

Publication number
CN112132079A
CN112132079A CN202011048218.6A CN202011048218A CN112132079A CN 112132079 A CN112132079 A CN 112132079A CN 202011048218 A CN202011048218 A CN 202011048218A CN 112132079 A CN112132079 A CN 112132079A
Authority
CN
China
Prior art keywords
student
face
picture
class
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011048218.6A
Other languages
English (en)
Other versions
CN112132079B (zh
Inventor
杨儒良
吴平凡
陈前坤
林熙南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202011048218.6A priority Critical patent/CN112132079B/zh
Publication of CN112132079A publication Critical patent/CN112132079A/zh
Application granted granted Critical
Publication of CN112132079B publication Critical patent/CN112132079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种在线教学中监控学生的方法、装置及系统，该方法包括：对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；发出学生以照片代替本人上课的告警提醒信息。本发明可实现对以照片代替本人上课的学生的自动监控与提醒，避免了破坏授课连续性以及教师情绪的情况发生。

Description

在线教学中监控学生的方法、装置及系统
技术领域
本发明涉及课堂教学技术领域，尤其涉及在线教学中监控学生的方法、装置及系统。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在线教学过程中，对学生听课状态进行监控一直是保证教学授课质量中至关重要的一环。传统的在线教学的学生监控方法下，老师通过学生直播视频内查看到学生处于上课异常状态时，会暂停授课并口头提醒学生，以纠正学生听课状态。其中上课异常状态包括非本人上课、未观看在线教学视频、离开教学终端和用照片代替真人模拟听课等，学生未观看在线教学视频包括学生上课看课外书、低头、趴着打瞌睡和交头接耳等。
上述传统方法采用的老师人工干预的管理方式，会破坏授课连续性，尤其是在线视频直播授课的情况，容易影响老师授课情绪，破坏课堂氛围。同时易对被老师当众提醒的学生造成心理伤害。
发明内容
本发明实施例提供一种在线教学中监控学生的方法，用以监控并提醒以照片代替本人上课的学生，该方法包括：
对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
发出学生以照片代替本人上课的告警提醒信息。
本发明实施例还提供一种在线教学中监控学生的装置，用以监控并提醒以照片代替本人上课的学生，该装置包括：
解帧处理模块，用于对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
人脸定位模块，用于对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
编码模块，用于对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
判断模块，用于在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
信息发送模块，用于发出学生以照片代替本人上课的告警提醒信息。
本发明实施例还提供一种在线教学中监控学生的系统，用以监控并提醒以照片代替本人上课的学生，该系统包括：
教学终端，用于对获取的在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
综合管理平台，用于接收教学终端发送的学生上课视频的图片序列和图片序列每一图片的学生人脸位置，人脸占屏比数据和编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；生成学生以照片代替本人上课的告警提醒信息；
信息发送单元，用于接收并发出学生以照片代替本人上课的告警提醒信息。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述在线教学中监控学生的方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述在线教学中监控学生的方法的计算机程序。
本发明实施例中，对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；发出学生以照片代替本人上课的告警提醒信息，从而可实现在线教学中对以照片代替本人上课的学生的自动监控及提醒，与现有技术对比，不需老师人工干预，避免了破坏授课连续性以及教师情绪的情况发生，同时可向学生发送告警提醒信息，不需老师叫出学生姓名，避免了被老师当众提醒的学生易心理受伤的情况发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中一种在线教学中监控学生的方法的流程示意图；
图2为本发明实施例中一种在线教学中监控学生的方法的具体示例图；
图3为本发明实施例中一种在线教学中监控学生的装置的结构示意图；
图4为本发明实施例中一种在线教学中监控学生的系统的结构示意图；
图5为本发明实施例中一种在线教学中监控学生的系统的具体示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
图1为本发明实施例中一种在线教学中监控学生的方法的流程示意图，如图1所示，本发明实施例提供的一种在线教学中监控学生的方法，可以包括：
步骤101：对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
步骤102：对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
步骤103：对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
步骤104：在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
步骤105：发出学生以照片代替本人上课的告警提醒信息。
本发明实施例中，对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；发出学生以照片代替本人上课的告警提醒信息，从而可实现在线教学中对学生的自动监控及提醒，与现有技术对比，不需老师人工干预，避免了破坏授课连续性以及教师情绪的情况发生，同时可向学生发送告警提醒信息，不需老师叫出学生姓名，避免了被老师当众提醒的学生易心理受伤的情况发生。
具体实施时，首先对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列。
实施例中，首先获取在线教学的学生的上课视频。在获取在线教学的学生的上课视频时，可通过预设置在学生接受在线教学终端的高清摄像头进行录制而得到，其中，教学终端可以包括各种智能设备，如电脑，手机等。
在上述实施例中，通过预设置的高清摄像头可对实时识别及捕捉在线教学的学生的上课视频；并通过解帧处理，可得到学生上课视频的图片序列，有利于后续步骤中对学生的上课状态进行分析。对比现有技术中，对学生的上课状态通常采用直接对学生上课视频进行相关处理，本发明实施例通过逐帧按位比对学生上课视频的图片序列，可有效减轻在线教学中监控学生的中的算力压力，同时采用解帧处理，得到学生上课视频的图片序列，同样也提高了图片序列比对的效率，减轻了以视频数据按位比对时会剧增的工作量和算力压力。
具体实施时，在对接受在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列后，对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课。
实施例中，在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课的方法有多种，例如，如图2所示，可以包括：
步骤201：根据图片序列中图片的学生人脸位置及人脸占屏比数据，以图片序列中图片的先后顺序，确定在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据是否发生改变；
步骤202：若在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据未发生改变，则确定图片的编码值是否发生变化；
步骤203：若图片的编码值未发生变化，则确定学生以照片代替本人上课。
实施例中，图片的学生人脸位置可以使用水平像素X值和垂直像素Y值进行定位。图片的学生人脸占屏比数据，可通过将人脸面积与序列图面积进行比较而学生人脸面积与图片面积的比值表示。实施例中，可通过BASE64码对学生上课视频的图片序列进行编码，得到学生上课视频的图片序列中每一图片的BASE64码编码值；根据图片序列中图片的学生人脸位置及人脸占屏比数据，以序列中图片的先后顺序，确定在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据是否发生改变；若在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据未发生改变，则确定图片的BASE64码编码值是否发生变化；若图片的BASE64码编码值未发生变化，则确定学生以照片代替本人上课。实施例中，还可在预设置的图片数量范围内，比较图片的BASE64码编码值重合率是否发生变化，若图片的BASE64码编码值重合率未超过预设置的数值范围时，则确定学生以照片代替本人上课。
在上述实施例中，BASE64编码是适用于HTTP协议的网络传输环境下传递较长的标识信息的一种编码方式。故本发明实施例的图片信息采用BASE64编码方式能保证数据较为稳定地在系统前后台间传输。而BASE64码转换原理为：转换时将3个byte的数据，先后放入一个24bit的缓冲区中。数据不足3byte时，缓冲区中剩下的Bit用0补足。然后，每次取出6个bit按照BASE64码转换表对应的“ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/”中的字符作为编码后的输出，直到全部数据转换完成。通过BASE64码对学生上课视频的图片序列进行编码，有利于后续步骤中判断图片编码值的重合率，有助于确定学生是否以照片代替本人上课。
本例中预设置的图片数量范围，可以包括大于等于预设置的时间段内(如1分钟时间段内)视频所包括的图片数量。根据图片序列中图片的学生人脸位置及人脸占屏比数据，确定学生是否以照片代替本人上课，可以包括：若连续1min(分钟)以上，上述图片的学生人脸位置及人脸占屏比数据未发生改变，则比较视频解帧序列图片的BASE64码编码值：若在预设置的时间段内，图片的BASE64码编码值的重合率超过预设的阈值，则确定学生以照片代替本人上课。
在上述实施例中，通过确定在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据是否发生改变，以及若在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据未发生改变，则确定图片的编码值是否发生变化，可确定是否学生以照片代替本人上课，实现了对学生上课状态的自动管理。上述对序列图人脸进行定位，获取人脸的起始位置、占屏比，可在学生接收在线教学的终端中实现；上述对学生上课视频的图片序列进行编码，可在学生接收在线教学的终端中，也可在听课管理系统的后台实现。
具体实施时，本发明实施例提供的在线教学中监控学生的方法，还可以包括：在对学生上课视频的图片序列进行人脸定位时，若无法得到图片序列中图片的学生人脸位置及人脸占屏比数据，则确定学生离开教学终端；发出学生离开教学终端的告警提醒信息。
实施例中，通过人脸定位技术，可实现得到图片序列中图片的学生人脸位置及人脸占屏比数据的目的。而在对学生上课视频的图片序列进行人脸定位时，若无法得到图片序列中图片的学生人脸位置及人脸占屏比数据，则可直接确定学生离开教学终端。
在上述实施例中，通过人脸定位技术，可确定学生是否离开教学终端，实现了对学生上课状态的自动管理。通过在学生接收在线教学的终端，通过人脸定位技术，可初步确定学生是否离开教学终端，避免了将大量的数据传输至听课管理系统的后台时，容易造成的后台计算压力，同时避免了带宽和网络的延迟，有利于更好地实现对在线教学的学生进行监控。
具体实施时，本发明实施例提供的在线教学中监控学生的方法，还可以包括：对学生上课视频的图片序列进行人脸识别处理，得到学生上课时的人脸特征值；在对学生上课视频的图片序列进行人脸识别处理时，若在预设置的图片数量范围内，均无法得到学生上课时的人脸特征值，则确定学生未观看在线教学视频；发出学生未观看在线教学视频的告警提醒信息。
实施例中，通过人脸识别处理，可得到学生上课时的人脸特征值。学生在未观看在线教学视频时，如学生上课看课外书、低头、趴着打瞌睡和交头接耳等，往往伴随低头或侧脸的动作，摄像头无法捕捉到学生正脸照片并完成人脸比对，若在预设置的图片数量范围内，均无法得到学生上课时的人脸特征值，则可直接确定学生未观看在线教学视频，其中，预设置的图片数量范围可包括：在预设置的时间段内，对接受在线教学的学生的上课视频进行解帧处理后得到的学生上课视频的图片序列数量范围。在线教学视频可以包括教学直播，或录课视频等一切可应用于在线教学中的多媒体形式。
在上述实施例中，通过人脸识别处理，可确定学生是否未观看在线教学视频，有利于更好地实现对在线教学的学生进行监控，实现了对学生上课状态的自动管理。
具体实施时，本发明实施例提供的在线教学中监控学生的方法，还可以包括：通过人脸识别引擎，对预获取的学生的人脸底图信息进行特征提取，确定学生的人脸底图特征值；将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课；发出学生非本人上课的告警提醒信息。
实施例中，将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课的方法有多种，例如，可以包括：将学生上课时的人脸特征值与人脸底图特征值进行匹配，得到重合率；在重合率低于预设数值时，确定匹配失败，学生非本人上课。
在上述实施例中，可以通过学生信息录入平台，录入包括学生底图照片在内的学生信息，并将学生底图上送至人脸识别引擎，完成人脸底图特征提取并存储于人脸特征库，作为人脸比对所使用的人脸底图特征值。通过确定学生上课时的人脸特征值和人脸底图特征值的重合率，可识别出非本人上课的学生，因此可实现对学生上课异常状态的识别。
具体实施时，在确定学生是否以照片代替本人上课后，发出学生以照片代替本人上课的告警提醒信息。
本发明实施例可发出学生以照片代替本人上课的告警提醒信息、发出学生离开教学终端的告警提醒信息、发出学生未观看在线教学视频的告警提醒信息以及发出学生非本人上课的告警提醒信息。实施例中，可通过蓝牙模块发送上述的告警提醒信息，如通过学生预配置的蓝牙智能设备发送告警提醒信息。其中，上述的告警提醒信息可向学生、老师、家长或专门的学生监控人员等发出，用于对学生进行告警提醒。
举一例，如一旦确定学生处于上课异常状态，如学生离开教学终端，以照片代替本人上课，非本人上课或未观看在线教学视频，则立即可通过蓝牙智能设备向学生发送告警提醒信息。其中，蓝牙智能设备可包括学生蓝牙手环或一切带有震动提醒功能的智能设备，可使处于异常上课状态的学生收到警告，用于警示学生立即停止当前异常上课状态，并回到正常上课状态。举一例，通过蓝牙手环，向学生发送告警提醒信息。
本发明实施例中，对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；发出学生以照片代替本人上课的告警提醒信息，从而可实现在线教学中对学生的自动监控及提醒，与现有技术对比，不需老师人工干预，避免了破坏授课连续性以及教师情绪的情况发生，同时可向学生发送告警提醒信息，不需老师叫出学生姓名，避免了被老师当众提醒的学生易心理受伤的情况发生。
如上所述，本发明实施例采用一种结合人脸识别技术和蓝牙手环震动提醒功能的在线教学中监控学生的方法，能自动识别学生的上课异常状态，在保护授课连续性且避免影响学生自尊的情况下，通过自动化提醒的方式达到纠正其听课状态的目的。
本发明实施例中还提供了一种在线教学中监控学生的装置，如下面的实施例所述。由于该装置解决问题的原理与在线教学中监控学生的方法相似，因此该装置的实施可以参见在线教学中监控学生的方法的实施，重复之处不再赘述。
图3为本发明实施例中一种在线教学中监控学生的装置的结构示意图，本发明实施例提供的一种在线教学中监控学生的装置，可以包括：
解帧处理模块301，用于对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
人脸定位模块302，用于对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
编码模块303，用于对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
判断模块304，用于在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
信息发送模块305，用于发出学生以照片代替本人上课的告警提醒信息。
在一个实施例中，判断模块，具体用于：根据图片序列中图片的学生人脸位置及人脸占屏比数据，以图片序列中图片的先后顺序，确定在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据是否发生改变；若在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据未发生改变，则确定图片的编码值是否发生变化；若图片的编码值未发生变化，则确定学生以照片代替本人上课。
在一个实施例中，本发明实施例提供的在线教学中监控学生的装置，还可以包括：学生是否离开教学终端判断模块，用于：在人脸定位模块对学生上课视频的图片序列进行人脸定位时，若无法得到图片序列中图片的学生人脸位置及人脸占屏比数据，则确定学生离开教学终端；发出学生离开教学终端的告警提醒信息。
在一个实施例中，本发明实施例提供的在线教学中监控学生的装置，还可以包括：学生是否未观看在线教学视频判断模块，用于：对学生上课视频的图片序列进行人脸识别处理，得到学生上课时的人脸特征值；在对学生上课视频的图片序列进行人脸识别处理时，若在预设置的图片数量范围内，均无法得到学生上课时的人脸特征值，则确定学生未观看在线教学视频；发出学生未观看在线教学视频的告警提醒信息。
在一个实施例中，本发明实施例提供的在线教学中监控学生的装置还可以包括：学生是否非本人上课判断模块，用于：通过人脸识别引擎，对预获取的学生的人脸底图信息进行特征提取，确定学生的人脸底图特征值；将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课；发出学生非本人上课的告警提醒信息。
在一个实施例中，学生是否非本人上课判断模块，具体用于：将学生上课时的人脸特征值与人脸底图特征值进行匹配，得到重合率；在重合率低于预设数值时，确定匹配失败，学生非本人上课。
图4为本发明实施例中一种在线教学中监控学生的系统的结构示意图，如图4所示，本发明实施例提供的一种在线教学中监控学生的系统，可以包括：
教学终端401，用于对获取的在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
综合管理平台402，用于接收教学终端发送的学生上课视频的图片序列和图片序列每一图片的学生人脸位置，人脸占屏比数据和编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；生成学生以照片代替本人上课的告警提醒信息，发送至信息发送单元；
信息发送单元403，用于接收并发出学生以照片代替本人上课的告警提醒信息。
在一个实施例中，本发明实施例提供的在线教学中监控学生的系统，还可以包括：人脸识别服务器，用于：对学生上课视频的图片序列进行人脸识别处理，得到学生上课时的人脸特征值；在对学生上课视频的图片序列进行人脸识别处理时，若在预设置的图片数量范围内，均无法得到学生上课时的人脸特征值，则确定学生未观看在线教学视频；生成未观看在线教学视频的告警提醒信息，发送至信息发送单元；信息发送单元具体用于：接收并发出学生未观看在线教学视频的告警提醒信息。
在一个实施例中，本发明实施例提供的在线教学中监控学生的系统，还可以包括：学生信息录入平台，用于：预获取学生的人脸底图信息；将学生的人脸底图信息发送至人脸识别服务器；人脸识别服务器，具体用于：通过人脸识别引擎，对接收的学生的人脸底图信息进行特征提取，确定学生的人脸底图特征值；人脸识别服务器，具体用于：将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课；生成学生非本人上课的告警提醒信息，发送至信息发送单元；信息发送单元具体用于：接收并发出学生非本人上课的告警提醒信息。
在上述实施例中，人脸定位处理可在教学终端实现，通过在教学终端实现人脸定位处理，可实现对学生上课视频的图片序列的初步处理，从而得到图片的学生人脸位置及人脸占屏比数据，避免了综合管理平台和人脸识别服务器的算力压力过大的问题。从而使得综合管理平台在比较序列图片的BASE64码重合率的过程中，避免了在对直播视频持续解帧、BASE64码编码加密以及BASE64码编码值按位比较的运算处理过程中，对算力和时间的消耗较大，容易产生较大延时的问题。
举一实例，图5为本发明实施例中一种在线教学中监控学生的系统的具体示例图，如图5所示：在本实例中，教学终端可包括高清摄像头端，可作为学生管理系统的前置端；人脸识别服务器可包括人脸识别引擎；综合管理平台可以包括听课管理系统，可作为学生管理系统的后台；信息发送单元可包括蓝牙通信模块，隶属于学生管理系统的后台，负责与学生的蓝牙手环对接；学生信息录入平台，可作为学生管理系统的web网络端，负责录入包括人脸底图在内的学生信息；在本实例中，学生管理系统还可以包括：与蓝牙模块相匹配的蓝牙智能设备，如学生蓝牙手环，用于接收蓝牙模块发送的告警提醒信息；根据接收的告警提醒信息产生震动提醒，用于提醒学生从上课异常状态回到上课正常状态。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述在线教学中监控学生的方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述在线教学中监控学生的方法的计算机程序。
本发明实施例中，对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；发出学生以照片代替本人上课的告警提醒信息，从而可实现在线教学中对学生的自动监控及提醒，与现有技术对比，不需老师人工干预，避免了破坏授课连续性以及教师情绪的情况发生，同时可向学生发送告警提醒信息，不需老师叫出学生姓名，避免了被老师当众提醒的学生易心理受伤的情况发生。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在线教学中监控学生的方法，其特征在于，包括：
对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
发出学生以照片代替本人上课的告警提醒信息。
2.如权利要求1所述的方法，其特征在于，在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课，包括：
根据图片序列中图片的学生人脸位置及人脸占屏比数据，以图片序列中图片的先后顺序，确定在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据是否发生改变；
若在预设置的图片数量范围内，图片的学生人脸位置及人脸占屏比数据未发生改变，则确定图片的编码值是否发生变化；
若图片的编码值未发生变化，则确定学生以照片代替本人上课。
3.如权利要求1所述的方法，其特征在于，还包括：在对学生上课视频的图片序列进行人脸定位时，若无法得到图片序列中图片的学生人脸位置及人脸占屏比数据，则确定学生离开教学终端；
发出学生离开教学终端的告警提醒信息。
4.如权利要求1所述的方法，其特征在于，还包括：
对学生上课视频的图片序列进行人脸识别处理，得到学生上课时的人脸特征值；
在对学生上课视频的图片序列进行人脸识别处理时，若在预设置的图片数量范围内，均无法得到学生上课时的人脸特征值，则确定学生未观看在线教学视频；
发出学生未观看在线教学视频的告警提醒信息。
5.如权利要求4所述的方法，其特征在于，还包括：
通过人脸识别引擎，对预获取的学生的人脸底图信息进行特征提取，确定学生的人脸底图特征值；
将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课；
发出学生非本人上课的告警提醒信息。
6.如权利要求5所述的方法，其特征在于，将学生上课时的人脸特征值与人脸底图特征值进行匹配，在匹配失败时确定学生非本人上课，包括：
将学生上课时的人脸特征值与人脸底图特征值进行匹配，得到重合率；
在重合率低于预设数值时，确定匹配失败，学生非本人上课。
7.一种在线教学中监控学生的装置，其特征在于，包括：
解帧处理模块，用于对在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；
人脸定位模块，用于对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；
编码模块，用于对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
判断模块，用于在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；
信息发送模块，用于发出学生以照片代替本人上课的告警提醒信息。
8.一种在线教学中监控学生的系统，其特征在于，包括：
教学终端，用于对获取的在线教学的学生的上课视频进行解帧处理，得到学生上课视频的图片序列；对学生上课视频的图片序列进行人脸定位，得到图片序列中图片的学生人脸位置及人脸占屏比数据；所述人脸定位用于确定图片中的学生人脸位置和学生人脸面积；所述人脸占屏比数据为学生人脸面积与图片面积的比值；对学生上课视频的图片序列进行编码，得到图片序列中每一图片的编码值；
综合管理平台，用于接收教学终端发送的学生上课视频的图片序列和图片序列每一图片的学生人脸位置，人脸占屏比数据和编码值；在预设置的图片数量范围内，通过确定图片的学生人脸位置及人脸占屏比数据，以及图片的编码值是否发生变化，确定学生是否以照片代替本人上课；生成学生以照片代替本人上课的告警提醒信息，发送至信息发送单元；
信息发送单元，用于接收并发出学生以照片代替本人上课的告警提醒信息。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
CN202011048218.6A 2020-09-29 2020-09-29 在线教学中监控学生的方法、装置及系统 Active CN112132079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011048218.6A CN112132079B (zh) 2020-09-29 2020-09-29 在线教学中监控学生的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011048218.6A CN112132079B (zh) 2020-09-29 2020-09-29 在线教学中监控学生的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112132079A true CN112132079A (zh) 2020-12-25
CN112132079B CN112132079B (zh) 2023-12-22

Family

ID=73844621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011048218.6A Active CN112132079B (zh) 2020-09-29 2020-09-29 在线教学中监控学生的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112132079B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519789A (zh) * 2022-01-27 2022-05-20 北京精鸿软件科技有限公司 教室场景课堂切换判别方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830180A (zh) * 2018-05-25 2018-11-16 讯飞幻境(北京)科技有限公司 电子考勤方法、装置及电子设备
CN109344655A (zh) * 2018-11-28 2019-02-15 深圳市酷开网络科技有限公司 一种基于人脸识别的信息获取方法及系统
CN110827832A (zh) * 2018-08-14 2020-02-21 上海汇付数据服务有限公司 一种视频身份的识别设备及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830180A (zh) * 2018-05-25 2018-11-16 讯飞幻境(北京)科技有限公司 电子考勤方法、装置及电子设备
CN110827832A (zh) * 2018-08-14 2020-02-21 上海汇付数据服务有限公司 一种视频身份的识别设备及其方法
CN109344655A (zh) * 2018-11-28 2019-02-15 深圳市酷开网络科技有限公司 一种基于人脸识别的信息获取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114519789A (zh) * 2022-01-27 2022-05-20 北京精鸿软件科技有限公司 教室场景课堂切换判别方法、装置及电子设备
CN114519789B (zh) * 2022-01-27 2024-05-24 北京精鸿软件科技有限公司 教室场景课堂切换判别方法、装置及电子设备

Also Published As

Publication number Publication date
CN112132079B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
JP2009258175A (ja) 講義システムおよび集計システム
CN111989031B (zh) 远程医疗中症状的实时标注
CN113132741A (zh) 一种虚拟直播系统和方法
CN113869125A (zh) 一种视频流的分析处理方法、装置、设备及可读存储介质
CN106686208B (zh) 一种可穿戴设备上显示多媒体消息的方法及装置
CN102655585A (zh) 视频会议系统及其时延测试方法、装置和系统
CN109934097A (zh) 一种基于人工智能的表情和心理健康管理系统
CN112132079B (zh) 在线教学中监控学生的方法、装置及系统
CN110415318B (zh) 图像处理方法和装置
CN111970471A (zh) 基于视频会议的参会人员评分方法、装置、设备及介质
CN111767898B (zh) 业务数据处理方法、装置、设备及存储介质
CN109862375B (zh) 云录播系统
CN114650111B (zh) 用于应急广播消息的播报方法及装置、智能家居设备
CN116580354B (zh) 应用模式切换的远程教育监考系统
CN107888934A (zh) 一种基于ar技术的变电技能直播系统
CN114373150A (zh) 一种工厂监控方法、装置、电子设备及存储介质
CN112929372A (zh) 一种网络智能音频终端、监控方法及监控系统
CN111414838A (zh) 一种注意力检测方法、装置、系统、终端及存储介质
GB2604772A (en) Filtering group messages
CN118413627B (zh) 基于云端数据库的视频会议远程交互系统
CN112215148B (zh) 电子人工监控一体化系统及方法
CN114007084B (zh) 一种视频片段云存储方法及装置
CN115908070B (zh) 一种基于云平台的线上学习管理方法及系统
CN114997368A (zh) 一种基于语音ai智能会议系统及其实现方法
CN115065667B (zh) 预约式集成会议系统及带有该系统的投屏器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant