CN110399810A - 一种辅助点名方法及装置 - Google Patents

一种辅助点名方法及装置 Download PDF

Info

Publication number
CN110399810A
CN110399810A CN201910610880.7A CN201910610880A CN110399810A CN 110399810 A CN110399810 A CN 110399810A CN 201910610880 A CN201910610880 A CN 201910610880A CN 110399810 A CN110399810 A CN 110399810A
Authority
CN
China
Prior art keywords
video pictures
image
target
student
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910610880.7A
Other languages
English (en)
Other versions
CN110399810B (zh
Inventor
徐立建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Mengdao Information Technology Co Ltd
Original Assignee
Hubei Mengdao Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Mengdao Information Technology Co Ltd filed Critical Hubei Mengdao Information Technology Co Ltd
Priority to CN201910610880.7A priority Critical patent/CN110399810B/zh
Publication of CN110399810A publication Critical patent/CN110399810A/zh
Application granted granted Critical
Publication of CN110399810B publication Critical patent/CN110399810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种辅助点名方法及装置,方法包括:在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。应用本发明实施例,实现了辅助教师点名。

Description

一种辅助点名方法及装置
技术领域
本发明涉及联校网教技术领域,尤其涉及一种辅助点名方法及装置。
背景技术
“联校网教”是一种信息化教学新模式,通过互联网,可以让大城市里的教师给偏远山村的学生进行远程上课,从而实现优质师资力量的共享。在远程上课过程中,教师可能会与学生进行互动,例如点学生回答问题。在与学生互动过程中,教师需要准确说出学生的名字,为了便于教师快速准确的认识学生,需要研究一种辅助点名方法。
目前,在远程教学过程中,主要还是依赖老师的记忆力来记住每个学生的名字等信息,由于有时候一个教师通常要带多个班级,可能无法准确记住各个学生的名字等信息,因此,容易出现由于忘记或弄错学生名字而无法正常点名的情况,故需要一种可以辅助教师点名的方法。
发明内容
本发明的目的在于克服现有技术之缺陷,提供了一种辅助点名方法及装置,以实现辅助教师点名。
本发明是这样实现的:
第一方面,本发明提供一种辅助点名方法,所述方法包括:
在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
可选的,确定所述听课教室内的视频画面中的各人体区域,包括:
对所述听课教室内的视频画面进行缩放,得到缩放后的视频画面;
将缩放后的视频画面与预设教室图像进行色域转换,将色域转换后的视频画面与预设教室图像进行图像对比,将图像对比结果为相同的区域作为缩放后的视频画面中的背景图像;对所述背景图像进行剪裁,得到各人体区域。
可选的,通过以下方式检测教师是否登录成功:
获取主讲教室内的视频画面,对所获取的视频画面进行人脸识别;若识别到人脸图像,对所识别的人脸图像进行特征提取,得到目标人脸特征;
根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,若包含教师图像,则继续获取主讲教室内预设帧数的视频画面,对所获取的预设帧数的视频画面进行动态活体检测;若检测到点头动作,则判定教师登录成功;若未检测到点头动作,则判定教师登录不成功。
可选的,根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,包括:
将所述目标人脸特征与临时人脸特征集中的人脸特征进行特征比对;
若特征比对成功,则判定所获取的视频画面包含教师图像;
若特征比对不成功,将所述目标人脸特征发送至第三方服务器,以使所述第三方服务器将所述目标人脸特征与预设人员管理科库中的人脸特征进行特征比对,若与预设人员管理科库中的人脸特征比对成功,则返回比对成功结果、比对成功的人脸特征及其对应的人员信息;在接收比对成功结果、比对成功的人脸特征及其对应的人员信息后,将比对成功的人脸特征及其对应的人员信息存储至临时人脸特征集;并判定所获取的视频画面包含教师图像;若未接收到比对成功结果,则判定所获取的视频画面不包含教师图像。
可选的,获得所述目标人脸图像对应的目标学生信息,包括:
将所述目标人脸图像与预设学生库中的学生图像进行人脸比对,获得比对成功的学生图像对应的学生信息,作为所述目标人脸图像对应的学生信息;所述学生信息包括姓名;所述预设学生库用于存储学生图像及其对应的学生信息。
可选的,所述方法还包括:
在检测到所显示的姓名被点击后,放大显示所述目标人体区域;在放大后的目标人体区域附近显示所述目标学生信息中的基本个人资料。
可选的,所述人员信息还包括授课表,在获得并显示听课教室内的视频画面后,所述方法还包括:
确定与所述目标人脸特征比对成功的人脸特征所对应的人员信息中的授课表;从所确定的授课表中选择待授课程的名称,在达到预设授课时间点后,显示待授课程的名称。
可选的,若从主讲教室内的视频画面中识别到人脸图像,在对所识别的人脸图像进行特征提取之前,所述方法还包括:
判断识别出的人脸图像是否为单个人脸图像;若为单个人脸图像,则执行对所识别的人脸图像进行特征提取的步骤;否则,重新执行获取主讲教室内的视频画面的步骤。
可选的,所述方法还包括:
每隔预设时间段,重新获得并显示听课教室内的视频画面。
第二方面,本发明提供一种辅助点名装置,所述装置包括:
确定模块,用于在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
识别模块,用于对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
本发明具有以下有益效果:应用本发明实施例,在检测到教师登录成功后,若识别到听课教室内视频画面中的某个学生有举手动作,可以对该学生所在的人体区域添加高亮框,并在高亮框内显示该学生的名字,解决了一个教师在与学生进行互动的过程中,由于忘记或弄错学生名字而无法正常点名的问题,实现了辅助教师点名,并且通过对目标人体区域添加高亮框,使得各个举手的学生在视频画面中更加显眼,有利于教师快速从视频画面中找到举手的学生,整个过程教师操作简便,提高了教师体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的辅助点名方法的一种流程示意图;
图2为本发明实施例提供的辅助点名装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
需要说明的是,本发明所提供的辅助点名方法可以应用于电子设备,其中,在具体应用中,该电子设备可以为计算机、个人电脑、平板、手机、客户端等等,这都是合理的。
参见图1,本发明实施例提供一种辅助点名方法,方法包括如下步骤:
S101、在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
电子设备(本发明的执行主体)可以部署于主讲教室,电子设备可以包含显示屏或者通过VGA(Video Graphics Array,视频图形阵列)接口外接显示屏,在显示屏上可以显示听课教室内的视频画面,可以获得一个或多个听课教室内的视频画面,并同步显示在显示屏,有利于主讲教室内的教师实时掌握一个或多个听课教室内的学生情况。
听课教室内可以部署IPC(IP Camera,网络摄像机)或者USB摄像头等,通过部署于听课教室内的摄像头可以采集听课教室内的视频图像;并可以将采集的听课教室内的视频图像传送给第三方服务器,从而电子设备可以通过第三方服务器获得听课教室内的视频图像,或者电子设备可以直接与听课教室内的摄像头通信,直接获得该摄像头采集的听课教室内的视频图像。第三方服务器可以是WEB(World Wide Web,全球广域网)服务器。
听课教室内的视频画面可以包括人体区域,通过对视频画面进行人体识别,可以得到各人体区域。每个人体区域可以对应一个学生。
一种实现方式中,确定所述听课教室内的视频画面中的各人体区域,可以包括:
对所述听课教室内的视频画面进行缩放,得到缩放后的视频画面;
将缩放后的视频画面与预设教室图像进行色域转换,将色域转换后的视频画面与预设教室图像进行图像对比,将图像对比结果为相同的区域作为缩放后的视频画面中的背景图像;对所述背景图像进行剪裁,得到各人体区域。
可以按照预设缩放比例,缩小所述听课教室内的视频画面,得到缩放后的视频画面,又一种实现方式中,还可以对所述听课教室内的视频画面进行压缩之后再进行缩放,通过对这张视频画面进行适当的压缩、缩放,可以加快图像处理速度,还可以对缩放后的视频画面进行裁剪,得到预设尺寸的视频画面,进而对预设尺寸的视频画面与预设教室图像进行色域转换以及图像对比,得到预设尺寸的视频画面中的背景图像。通过对缩放后的视频画面进行裁剪,从而减少了不必要的图像处理区域,进一步提高了图像处理效率。
本发明对具体的色域转换、图像比对方式不做限定,例如,可以将缩放后的视频画面和预设教室图像统一转换到某个色域空间,然后在这个色域空间对缩放后的视频画面和预设教室图像进行图像比对,得到比对结果为相同的区域,即为缩放后的视频画面中的背景区域,进而对背景图像进行剪裁,就可以得到各人体区域。色域空间可以为RGB(Red-Green-Blue,红-绿-蓝)/HSL(hue-saturation-intensity,色相-饱和度-亮度)/HSV(hue-saturation-value,色调-饱和度-明度)等等。
S102、对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
可以采用手势识别算法,对所确定的各人体区域分别进行手势识别,可能识别出一个或多个人体区域均存在举手动作,存在举手动作的人体区域可以称为目标人体区域;可以对识别出每一个举手动作所在的目标人体区域进行人脸识别,得到一个或多个目标人脸图像,进而对每一个目标人体区域添加高亮框,并在每一个高亮框内显示相应学生的姓名。高亮框可以是高亮矩形框或高亮椭圆形框等。
一个高亮框可以完全包围一个目标人体区域,并可以在高亮框内的预设位置显示姓名,该姓名即为目标人体区域所表征学生的姓名。例如,预设位置可以为高亮框内的上/下/左/右方等等。
通过对目标人体区域添加高亮框,使得各个举手的学生在视频画面中更加显眼,有利于教师快速从视频画面中找到举手的学生。
本发明对具体的手势识别方式不做限定,例如,可以是基于隐马尔可夫模型的手势识别算法或是基于模板匹配的手势识别算法或是其他具有手势识别功能的算法等等。本发明对具体的人脸识别方式不做限定,例如可以为基于神经网络的人脸识别算法、基于几何特征的方法、局部特征分析方法、特征脸方法或是具有人脸识别功能的算法等。
应用本发明实施例,在检测到教师登录成功后,若识别到听课教室内视频画面中的某个学生有举手动作,可以对该学生所在的人体区域添加高亮框,并在高亮框内显示该学生的名字,解决了一个教师在与学生进行互动的过程中,由于忘记或弄错学生名字而无法正常点名的问题,实现了辅助教师点名,整个过程操作简便,提高了用户体验。
获得所述目标人脸图像对应的目标学生信息,可以包括:
将所述目标人脸图像与预设学生库中的学生图像进行人脸比对,获得比对成功的学生图像对应的学生信息,作为所述目标人脸图像对应的学生信息;所述学生信息包括姓名;所述预设学生库用于存储学生图像及其对应的学生信息。
预设学生库可以是一个部署于本地的数据库,主要用于存储学生图像及其对应的学生信息,学生信息可以包括姓名、性别、所在班级、所上传的作业图像等信息。通过将每一目标人脸图像与预设学生库中的学生图像进行人脸比对,若预设学生库有学生图像与目标人脸图像比对成功,表明该目标人脸图像是某个学生的图像,进而,可以从预设学生库中获得比对成功的学生图像对应的学生信息,作为该目标人脸图像对应的学生信息。本发明对人脸比对的方式不做限定,例如,可以为1:N模式的人脸比对。
或者,预设学生库也可以是部署于其他服务器的数据库,电子设备可以访问预设学生库中的学生图像以进行人脸比对。
对于能够与预设学生库比对成功的每一目标人脸图像,都可以得到该目标人脸图像对应的目标学生信息。
一种实现方式中,为了便于教师登录,以进一步提高用户体验,可以通过以下方式检测教师是否登录成功:
获取主讲教室内的视频画面,对所获取的视频画面进行人脸识别;若识别到人脸图像,对所识别的人脸图像进行特征提取,得到目标人脸特征;
根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,若包含教师图像,则继续获取主讲教室内预设帧数的视频画面,对所获取的预设帧数的视频画面进行动态活体检测;若检测到点头动作,则判定教师登录成功;若未检测到点头动作,则判定教师登录不成功。
主讲教室内可以部署IPC摄像头或者USB摄像头,可以通过IPC摄像头或者USB摄像头采集主讲教室内的视频画面。
主讲教室内的视频画面可能包含人脸图像,也可能不包含人脸图像,若包含人脸图像,通过人脸识别,可以识别到人脸图像;若不包含人脸图像,通过人脸识别则无法识别到人脸图像。本发明对具体的人脸识别方式不做限定,例如可以为基于神经网络的人脸识别算法、基于几何特征的方法、局部特征分析方法、特征脸方法等。
若在主讲教室内的视频画面中未识别到人脸图像,可以重新执行获取主讲教室内的视频画面的步骤;
若在主讲教室内的视频画面中识别到人脸图像,可以对识别到的人脸图像进行特征提取,得到目标人脸特征,进而,可以根据所述目标人脸特征判断所述获取的视频画面是否包含教师图像。
又一种实现方式中,若识别到人脸图像,还可以进一步判断识别出的人脸图像是否为一个人脸图像;若为一个,则对识别到的人脸图像进行特征提取;否则,可以重新执行获取主讲教室内的视频画面的步骤。由于主讲老师通常为一个,当识别到多个人脸图像时,说明可能不是要上课,为了提高安全性和减少不必要的特征提取过程,可以不进行特征提取;直至下次获取的视频画面中有且仅有一个人脸图像。
具体的,根据目标人脸特征判断所获取的视频画面是否包含教师图像,包括:
将所述目标人脸特征与临时人脸特征集中的人脸特征进行特征比对;
若特征比对成功,则判定所获取的视频画面包含教师图像;
若特征比对不成功,将所述目标人脸特征发送至第三方服务器,以使所述第三方服务器将所述目标人脸特征与预设人员管理科库中的人脸特征进行特征比对,若与预设人员管理科库的人脸特征比对成功,则返回比对成功结果、比对成功的人脸特征及其对应的人员信息;在接收到比对成功结果、比对成功的人脸特征及其对应的人员信息后,将比对成功的人脸特征及其对应的人员信息存储至临时人脸特征集;并判定所获取的视频画面包含教师图像;若未接收到比对成功结果,则判定所获取的视频画面不包含教师图像。
可以基于几何特征的特征提取方法或其他特征提取算法对所识别的人脸图像进行特征提取,得到目标人脸特征。目标人脸特征可以包括人脸面部具有代表性的部位(例如眼睛、鼻子、嘴巴、眉毛)的相对位置和相对大小、脸型轮廓的形状等。
临时人脸特征集可以存储于本地,可以用于记录当天登录成功的人脸特征集合,可以用来快速判断所识别到的人脸图像在当天是不是已经登录成功过,若已经登录成功,则与临时人脸特征集中的人脸特征的特征比对就会成功;否则,与临时人脸特征集中的人脸特征的特征比对就会不成功。通过先与本地存储的临时人脸特征集进行特征比对,避免了频繁的与预设人员管理科库中的大量人脸特征进行比对,提高了比对效率,也无需将目标人脸特征上传到第三方服务器中进行特征比对,减轻了第三方服务器的压力。
若与临时人脸特征集中的人脸特征比对不成功,表明临时人脸特征集中不存在目标人脸特征,则可以将所述目标人脸特征发送至第三方服务器,以使所述第三方服务器将所述目标人脸特征与预设人员管理科库中的人脸特征进行特征比对;若特征比对成功,第三方服务器可以返回比对成功结果、比对成功的人脸特征及其对应的人员信息;若特征比对不成功,第三方服务器可以不返回比对成功结果。
预设人员管理科库可以是存储于第三方服务器的数据库,预设人员管理科库可以用于存储人脸特征以及其对应的人员信息,比如人员名、性别、电话、所在区域ID(标识)等。管理人员可以通过第三方服务器管理预设人员管理科库,例如,可以新增或修改其中的人员信息。
若与预设人员管理科库中的人脸特征的特征比对成功,表明预设人员管理科库存在目标人脸特征对应的人员信息,可以认为目标人脸特征是某个教师的人脸特征,可以判定所获取的视频画面包含教师图像,并可以向电子设备返回比对成功结果、比对成功的人脸特征及其对应的人员信息;电子设备可以将比对成功的人脸特征及其对应的人员信息存储至临时人脸特征集,从而可以更新临时人脸特征集,当下次识别到该教师的人脸图像后,可以直接通过比对临时人脸特征集而成功比对,从而不必再与预设人员管理科库进行特征比对,提高了比对效率。
若与预设人员管理科库中的人脸特征的特征比对不成功,表明预设人员管理科库不存在目标人脸特征对应的人员信息,可以认为目标人脸特征是非教师的人脸特征,可以判定所获取的视频画面不包含教师图像,并可以重新执行获取主讲教室内的视频画面的步骤。
或者,另一种实现方式中,若识别到人脸图像有多个,可以对每一个识别到的人脸图像进行特征提取,得到多个目标人脸特征;进而,可以根据多个目标人脸特征判断所获取的视频画面是否包含教师图像。当临时人脸特征集或预设人员管理科库中存在多个目标人脸特征中的某个人脸特征时,就可以判定所获取的视频画面包含教师图像,否则,可以判定所获取的视频画面不包含教师图像。
若包含教师图像,则可以继续获取主讲教室内预设帧数的视频画面,对所获取预设帧数的视频画面进行动态活体检测。预设帧数可以根据动态活体检测所需的帧数进行设定,例如,可以为2帧、3帧等。动态活体检测可以检测出预设帧数的视频画面是否出现点头动作。本发明对具体采用的动态活体检测技术不做限定,可以根据需求设计相应的具有识别点头动作功能的动态活体检测算法等。
应用本发明实施例,教师在上课时无需手动输入帐号和密码,只要站到讲台前直面摄像头并点头确定后就可以完成登陆操作,整个过程操作简便,提高了用户体验。
为了在登录成功后,便于教师直接获知待授课程。人员信息还包括授课表,在获得并显示听课教室内的视频画面后,方法还可以包括:
确定与所述目标人脸特征比对成功的人脸特征所对应的人员信息中的授课表;从所确定的授课表中选择待授课程的名称,在达到预设授课时间点后,显示待授课程的名称。
授课表可以包括教师要教的班级、课程名称、课程时间之间的对应关系。从所确定的授课表中选择待授课程的名称,可以包括:在检测到教师的选择指令后,从所确定的授课表中选择所述选择指令所包含的课程名称,作为待授课程的名称;或者,从所确定的授课表中选择距离当前时间最近的课程时间所对应的课程名称,作为待授课程的名称。
电子设备可以提供人机交互界面,教师可以通过人机交互界面发出选择指令,选择指令可以包含的教师所选课程的名称。
预设授课时间点可以事先设定,例如,8:00、8:50、14:00、14:50等等,每到达上述预设授课时间点,就显示相应的待授课程的名称,表明即将开始上课。
一种实现方式中,所述方法还包括:
在检测到所显示的姓名被点击后,放大显示所述目标人体区域;在放大后的目标人体区域附近显示所述目标学生信息中的基本个人资料。
学生信息中的基本个人资料可以包括姓名、性别、所在班级、年龄等学生的个人信息。
应用本发明实施例,当教师点击学生姓名后,就可以放大该目标人体区域并查看该目标人体区域所表征学生的基本个人资料,从而便于教师更全面的了解目标人脸图像所表征学生的信息。
一种实现方式中,为了提高实时性,所述方法还包括:
每隔预设时间段,重新获得并显示听课教室内的视频画面。
预设时间段可以根据需求事先设定,例如可以为1分钟、2分钟、3分钟、5分钟、10分钟等等。
由于听课教室内的学生可能走动,故视频画面内的人体区域可能会发生变化,应用本发明实施例,提高了视频画面的实时性,进而提高了后续人体区域识别的实时性。
与上述的方法实施例相对应,本发明实施例还提供一种辅助点名装置。
参见图2,图2为本发明实施例所提供的一种辅助点名装置的结构示意图,装置包括:
确定模块201,用于在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
识别模块202,用于对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
应用本发明实施例,在检测到教师登录成功后,若识别到听课教室内视频画面中的某个学生有举手动作,可以对该学生所在的人体区域添加高亮框,并在高亮框内显示该学生的名字,解决了一个教师在与学生进行互动的过程中,由于忘记或弄错学生名字而无法正常点名的问题,实现了辅助教师点名,并且通过对目标人体区域添加高亮框,使得各个举手的学生在视频画面中更加显眼,有利于教师快速从视频画面中找到举手的学生,整个过程教师操作简便,提高了教师体验。
可选的,确定模块确定所述听课教室内的视频画面中的各人体区域,具体为:
对所述听课教室内的视频画面进行缩放,得到缩放后的视频画面;
将缩放后的视频画面与预设教室图像进行色域转换,将色域转换后的视频画面与预设教室图像进行图像对比,将图像对比结果为相同的区域作为缩放后的视频画面中的背景图像;对所述背景图像进行剪裁,得到各人体区域。
可选的,所述装置还包括登录检测模块,用于通过以下方式检测教师是否登录成功:
获取主讲教室内的视频画面,对所获取的视频画面进行人脸识别;若识别到人脸图像,对所识别的人脸图像进行特征提取,得到目标人脸特征;
根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,若包含教师图像,则继续获取主讲教室内预设帧数的视频画面,对所获取的预设帧数的视频画面进行动态活体检测;若检测到点头动作,则判定教师登录成功;若未检测到点头动作,则判定教师登录不成功。
可选的,所述登录检测模块根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,具体为:
将所述目标人脸特征与临时人脸特征集中的人脸特征进行特征比对;
若特征比对成功,则判定所获取的视频画面包含教师图像;
若特征比对不成功,将所述目标人脸特征发送至第三方服务器,以使所述第三方服务器将所述目标人脸特征与预设人员管理科库中的人脸特征进行特征比对,若与预设人员管理科库中的人脸特征比对成功,则返回比对成功结果、比对成功的人脸特征及其对应的人员信息;在接收比对成功结果、比对成功的人脸特征及其对应的人员信息后,将比对成功的人脸特征及其对应的人员信息存储至临时人脸特征集;并判定所获取的视频画面包含教师图像;若未接收到比对成功结果,则判定所获取的视频画面不包含教师图像。
可选的,所述识别模块获得所述目标人脸图像对应的目标学生信息,具体为:
将所述目标人脸图像与预设学生库中的学生图像进行人脸比对,获得比对成功的学生图像对应的学生信息,作为所述目标人脸图像对应的学生信息;所述学生信息包括姓名;所述预设学生库用于存储学生图像及其对应的学生信息。
可选的,所述装置还包括第一显示模块,用于:
在检测到所显示的姓名被点击后,放大显示所述目标人体区域;在放大后的目标人体区域附近显示所述目标学生信息中的基本个人资料。
可选的,所述人员信息还包括授课表,所述装置还包括第二显示模块,用于:
在获得并显示听课教室内的视频画面后,确定与所述目标人脸特征比对成功的人脸特征所对应的人员信息中的授课表;从所确定的授课表中选择待授课程的名称,在达到预设授课时间点后,显示待授课程的名称。
可选的,所述装置还包括判断模块,用于:
若从主讲教室内的视频画面中识别到人脸图像,在对所识别的人脸图像进行特征提取之前,判断识别出的人脸图像是否为单个人脸图像;若为单个人脸图像,则执行对所识别的人脸图像进行特征提取;否则,重新执行获取主讲教室内的视频画面。
可选的,所述装置还包括更新模块,用于:
每隔预设时间段,重新获得并显示听课教室内的视频画面。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种辅助点名方法,其特征在于,所述方法包括:
在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
2.根据权利要求1所述的方法,其特征在于,确定所述听课教室内的视频画面中的各人体区域,包括:
对所述听课教室内的视频画面进行缩放,得到缩放后的视频画面;
将缩放后的视频画面与预设教室图像进行色域转换,将色域转换后的视频画面与预设教室图像进行图像对比,将图像对比结果为相同的区域作为缩放后的视频画面中的背景图像;对所述背景图像进行剪裁,得到各人体区域。
3.根据权利要求1所述的方法,其特征在于,通过以下方式检测教师是否登录成功:
获取主讲教室内的视频画面,对所获取的视频画面进行人脸识别;若识别到人脸图像,对所识别的人脸图像进行特征提取,得到目标人脸特征;
根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,若包含教师图像,则继续获取主讲教室内预设帧数的视频画面,对所获取的预设帧数的视频画面进行动态活体检测;若检测到点头动作,则判定教师登录成功;若未检测到点头动作,则判定教师登录不成功。
4.根据权利要求3所述的方法,其特征在于,根据所述目标人脸特征判断所获取的视频画面是否包含教师图像,包括:
将所述目标人脸特征与临时人脸特征集中的人脸特征进行特征比对;
若特征比对成功,则判定所获取的视频画面包含教师图像;
若特征比对不成功,将所述目标人脸特征发送至第三方服务器,以使所述第三方服务器将所述目标人脸特征与预设人员管理科库中的人脸特征进行特征比对,若与预设人员管理科库中的人脸特征比对成功,则返回比对成功结果、比对成功的人脸特征及其对应的人员信息;在接收到比对成功结果、比对成功的人脸特征及其对应的人员信息后,将比对成功的人脸特征及其对应的人员信息存储至临时人脸特征集;并判定所获取的视频画面包含教师图像;若未接收到比对成功结果,则判定所获取的视频画面不包含教师图像。
5.根据权利要求1所述的方法,其特征在于,获得所述目标人脸图像对应的目标学生信息,包括:
将所述目标人脸图像与预设学生库中的学生图像进行人脸比对,获得比对成功的学生图像对应的学生信息,作为所述目标人脸图像对应的学生信息;所述学生信息包括姓名;所述预设学生库用于存储学生图像及其对应的学生信息。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在检测到所显示的姓名被点击后,放大显示所述目标人体区域;在放大后的目标人体区域附近显示所述目标学生信息中的基本个人资料。
7.根据权利要求5所述的方法,其特征在于,所述人员信息还包括授课表,在获得并显示听课教室内的视频画面后,所述方法还包括:
确定与所述目标人脸特征比对成功的人脸特征所对应的人员信息中的授课表;从所确定的授课表中选择待授课程的名称,在达到预设授课时间点后,显示待授课程的名称。
8.根据权利要求3所述的方法,其特征在于,若从主讲教室内的视频画面中识别到人脸图像,在对所识别的人脸图像进行特征提取之前,所述方法还包括:
判断识别出的人脸图像是否为单个人脸图像;若为单个人脸图像,则执行对所识别的人脸图像进行特征提取的步骤;否则,重新执行获取主讲教室内的视频画面的步骤。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
每隔预设时间段,重新获得并显示听课教室内的视频画面。
10.一种辅助点名装置,其特征在于,所述装置包括:
确定模块,用于在检测到教师登录成功后,获得并显示听课教室内的视频画面,确定所述听课教室内的视频画面中的各人体区域;
识别模块,用于对所确定的各人体区域进行手势识别,若识别出举手动作,则对所识别的举手动作所在的目标人体区域进行人脸识别,得到目标人脸图像;获得所述目标人脸图像对应的目标学生信息,对所述目标人体区域添加高亮框,并在所述高亮框内显示所述目标学生信息中的姓名。
CN201910610880.7A 2019-07-08 2019-07-08 一种辅助点名方法及装置 Active CN110399810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610880.7A CN110399810B (zh) 2019-07-08 2019-07-08 一种辅助点名方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610880.7A CN110399810B (zh) 2019-07-08 2019-07-08 一种辅助点名方法及装置

Publications (2)

Publication Number Publication Date
CN110399810A true CN110399810A (zh) 2019-11-01
CN110399810B CN110399810B (zh) 2022-12-27

Family

ID=68324010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610880.7A Active CN110399810B (zh) 2019-07-08 2019-07-08 一种辅助点名方法及装置

Country Status (1)

Country Link
CN (1) CN110399810B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963586A (zh) * 2021-09-29 2022-01-21 华东师范大学 一种可移动穿戴式授课工具及其应用
CN114241521A (zh) * 2021-12-13 2022-03-25 北京华夏电通科技股份有限公司 一种识别庭审视频画面中法台区域的方法、装置及设备
CN114419694A (zh) * 2021-12-21 2022-04-29 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN117095466A (zh) * 2023-10-20 2023-11-21 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346016A (ja) * 2004-06-07 2005-12-15 Willway:Kk 挙手検知機、およびこれを用いた挙手検知システム
CN105205646A (zh) * 2015-08-07 2015-12-30 江苏诚创信息技术研发有限公司 自动点名系统及实现自动点名系统的方法
JP2016062291A (ja) * 2014-09-18 2016-04-25 株式会社日立ソリューションズ東日本 出欠管理装置および出欠管理方法
CN207965910U (zh) * 2018-01-25 2018-10-12 西安科技大学 基于人脸识别的教学管理系统
CN109919814A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于gis和人脸识别技术的课堂点名方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346016A (ja) * 2004-06-07 2005-12-15 Willway:Kk 挙手検知機、およびこれを用いた挙手検知システム
JP2016062291A (ja) * 2014-09-18 2016-04-25 株式会社日立ソリューションズ東日本 出欠管理装置および出欠管理方法
CN105205646A (zh) * 2015-08-07 2015-12-30 江苏诚创信息技术研发有限公司 自动点名系统及实现自动点名系统的方法
CN207965910U (zh) * 2018-01-25 2018-10-12 西安科技大学 基于人脸识别的教学管理系统
CN109919814A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于gis和人脸识别技术的课堂点名方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周和平等: "基于人脸识别的教师考勤系统的设计与实现", 《南国博览》 *
胡汪静等: "基于人脸识别的学生学情分析系统", 《电脑知识与技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963586A (zh) * 2021-09-29 2022-01-21 华东师范大学 一种可移动穿戴式授课工具及其应用
CN114241521A (zh) * 2021-12-13 2022-03-25 北京华夏电通科技股份有限公司 一种识别庭审视频画面中法台区域的方法、装置及设备
CN114419694A (zh) * 2021-12-21 2022-04-29 珠海视熙科技有限公司 一种多人视频会议头像的处理方法及处理装置
CN117095466A (zh) * 2023-10-20 2023-11-21 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备
CN117095466B (zh) * 2023-10-20 2024-01-26 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN110399810B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN110399810A (zh) 一种辅助点名方法及装置
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN108875606A (zh) 一种基于表情识别的课堂教学评价方法及系统
CN110910549A (zh) 基于深度学习和人脸识别特征的校园人员安全管理系统
CN112184497B (zh) 一种客户到访轨迹追踪及客流分析系统及方法
CN113835522A (zh) 手语视频生成、翻译、客服方法、设备和可读介质
KR101988037B1 (ko) 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법
CN112487928A (zh) 基于特征模型的课堂学情实时监测方法与系统
CN109754653B (zh) 一种个性化教学的方法及系统
CN109409199B (zh) 微表情训练方法、装置、存储介质及电子设备
CN109117753A (zh) 部位识别方法、装置、终端及存储介质
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN107247920A (zh) 交互控制方法、装置和计算机可读存储介质
CN113781408B (zh) 一种图像拍摄智能指导系统及方法
CN110543811A (zh) 一种基于深度学习的非配合式考试人员管理方法及其系统
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN108510988A (zh) 一种用于聋哑人的语言识别系统及方法
CN110378261B (zh) 一种学生识别方法及装置
CN111402902A (zh) 一种基于语音识别的教室签到方法
JP6819194B2 (ja) 情報処理システム、情報処理装置およびプログラム
CN109345427B (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
CN111223549A (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
CN110400119A (zh) 基于人工智能的面试方法、装置、计算机设备和存储介质
CN113326747A (zh) 教职工人脸识别考勤方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant