CN110443183A - 一种上课状态监测方法、装置、存储介质及服务器 - Google Patents

一种上课状态监测方法、装置、存储介质及服务器 Download PDF

Info

Publication number
CN110443183A
CN110443183A CN201910698137.1A CN201910698137A CN110443183A CN 110443183 A CN110443183 A CN 110443183A CN 201910698137 A CN201910698137 A CN 201910698137A CN 110443183 A CN110443183 A CN 110443183A
Authority
CN
China
Prior art keywords
class
face
video
target object
class state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910698137.1A
Other languages
English (en)
Inventor
赵明明
刘立真
谢文珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN201910698137.1A priority Critical patent/CN110443183A/zh
Publication of CN110443183A publication Critical patent/CN110443183A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Abstract

本申请实施例公开了一种上课状态监测方法、装置、存储介质及服务器,其中,方法包括:采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;输出所述目标对象的上课状态不佳的提示信息。因此,采用本申请实施例,准确性高,可以为提升上课质量提供参考。

Description

一种上课状态监测方法、装置、存储介质及服务器
技术领域
本申请涉及计算机技术领域,尤其涉及一种上课状态监测方法、装置、存储介质及服务器。
背景技术
随着计算机和互联网技术的发展,借助于计算机网络辅助学习和教学已成为一种趋势。例如,老师可以通过直播或录播的方式同时对多个教室中的学生讲课,学生通过这种方式可以选择自己喜欢的老师和课程等等。
该种方式大大方便了学生学习和老师教学,而对于课堂上学生的上课状态的监控却没有一个较合适的方式,目前主要是根据学生和教师的面部是否在目标范围内进行监控,存在准确性不足的问题。
发明内容
本申请实施例提供了一种上课状态监测方法、装置、存储介质及服务器,通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。所述技术方案如下:
第一方面,本申请实施例提供了一种上课状态监测方法,所述方法包括:
采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
输出所述目标对象的上课状态不佳的提示信息。
第二方面,本申请实施例提供了一种上课状态监测装置,所述装置包括:
动作采集模块,用于采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
状态确定模块,用于当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
提示输出模块,用于输出所述目标对象的上课状态不佳的提示信息。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种服务器,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种上课状态监测系统的网络架构示意图;
图2是本申请实施例提供的一种上课状态监测方法的流程示意图;
图3是本申请实施例提供的一种面部朝向角度的举例示意图;
图4是本申请实施例提供的一种上课状态监测方法的流程示意图;
图5是本申请实施例提供的一种人脸的关键特征点的举例示意图;
图6是本申请实施例提供的一种上课信息曲线图的举例示意图;
图7是本申请实施例提供的一种上课状态监测装置的结构示意图;
图8是本申请实施例提供的一种动作采集模块的结构示意图;
图9是本申请实施例提供的一种上课状态监测装置的结构示意图;
图10是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行说明。
请参见图1,为本申请实施例提供的一种上课状态监测系统的网络架构示意图。如图1所示,所述网络架构可以包括服务器1000以及用户终端集群;所述用户终端集群可以包括老师的用户终端2000以及多个学生的用户终端,如图1所示,学生的用户终端具体包括用户终端3000a、用户终端3000b、…、用户终端3000n;为便于理解,本申请实施例可以图1所示的服务器1000作为本方案的执行主体。本申请实施例可以图1中的客户终端3000a为例进行描述。
其中,所述服务器为具备视频识别及处理功能的服务器。
所述用户终端包括但不限于:智能手机、个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称,例如:用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的终端设备等。
如图1所示,用户终端2000以及用户终端3000a分别与服务器1000建立网络连接并开始视频上课。服务器1000分别接收用户终端2000和用户终端3000a上传的语音、图像等视频信息,对该信息进行融合后生成上课视频并分别下发至用户终端2000以及用户终端3000a。其中,上课视频中至少一个对象即为老师以及学生1。
具体的,服务器1000采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数,并判断至少一个对象中是否存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象,
当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,说明该目标对象(学生)在上课时左顾右盼频率较高,而并没有认真观看位于固定方位的老师以及黑板(显示屏),确定所述目标对象的上课状态不佳,则输出所述目标对象的上课状态不佳的提示信息。
其中,该上课视频可以为当前正在上课所采集的视频,也可以为已上课完成的上课视频。
可选的,所述采集上课视频中至少一个对象的面部动作,具体可以为采集上课视频,并对所述上课视频中所包含的至少一个对象进行人脸识别,然后定位识别到的各人脸区域,再采集所述各人脸区域的面部动作。
进一步的,所述采集所述各人脸区域的面部动作,具体可以为提取所述各人脸区域的关键特征点,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果,然后基于所述比对结果确定所述各人脸区域的面部动作。
可选的,当确定所述目标对象的上课状态不佳之后,服务器1000基于所述面部动作获取所述目标对象的目标上课状态分数,确定所述目标上课状态分数所属的分数范围,并基于分数范围与教学建议信息的对应关系,确定所述目标对象的教学建议信息。
此外,还可以基于所述面部动作获取所述至少一个对象的上课状态分数,并获取所述至少一个对象的对象标识以及所述上课视频的开课时间,再基于所述至少一个对象的对象标识、所述至少一个对象的上课状态分数以及所述开课时间生成上课信息曲线图,通过该曲线图可以直观反映至少一个对象的上课状态。
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。
下面将结合附图2-附图4,对本申请实施例提供的上课状态监测方法进行详细介绍。其中,本申请实施例中的上课状态监测装置可以是图1所示的服务器1000。
请参见图2,为本申请实施例提供的一种上课状态监测方法的流程示意图。如图2所示,本申请实施例的所述上课状态监测方法可以包括以下步骤:
S101,采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
所述上课视频为所录制的课程视频,该上课视频可以为网络在线上课时实时录制的,也可以为课程完成后从保存的数据库中读取到的。
在上课视频的各帧图像中,包含有多个对象,所述对象可以为学生或者老师。在本申请实施例中,以对象为学生为例进行说明。其中,所述学生可以包括至少一个。
所述面部动作即为学生的人脸转动动作,包括在预设时长内的面部朝向角度以及朝向变换次数。所述预设时长可以为基于经验值所设定的一时长,如1分钟,也可以为该上课视频的总时长。
其中,面部朝向角度是指相对人脸正视黑板(显示屏)时的转动角度及方向。如图3所示,左图为人脸正视黑板的方向及对应的坐标系,右上图为低头时的人脸转动角度为A及转动方向为向南(或向下),右下图为抬头时的人脸转动角度为B及转动方向为向北(或向上)。
所述朝向变换次数即为从一个朝向变换为另一个朝向的次数。
具体实现中,分别记录该上课视频中各学生在相同时段内预设时长下的面部朝向角度及朝向变换次数,并保存。其中,一种保存方式如表1所示,按照学生与面部动作的对应关系保存,对于朝向变换次数,每变换一次就增加1,将所记录的最后一个数值作为该学生的朝向变换次数。
表1
S102,当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
预设角度为人脸正视黑板方向一定范围内的角度,由于在上课过程中,学生需要调整坐姿,因此,当在正视黑板方向一定范围内活动时,可理解为是上课所必须的调整动作。同样的,调整次数在一定范围内时,也可理解为上课所必须的调整,而不应该被视为不合理的调整。
当确定某个学生的面部朝向角度大于预设角度且朝向变换次数大于预设次数时,表明该学生在上课时精力不集中,没有认真观看位于固定方位的老师及黑板,喜欢左顾右盼,因此,确定该学生上课状态不佳。
S103,输出所述目标对象的上课状态不佳的提示信息。
输出提示信息的方式可以为向该目标对象的用户终端发送上课状态不佳的提示信息,使得该用户终端的显示界面展示该提示信息,以对该目标对象进行提示。
输出提示信息的方式还可以为直接在当前显示界面展示包含有该目标对象标识的提示信息。
可选的,在当前显示界面还可以显示基于至少一个对象的对象标识、至少一个对象的上课状态分数以及开课时间生成的上课信息曲线图,从而方便用户直观准确的了解各学生的上课状态。
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。
请参见图4,为本申请实施例提供的一种上课状态监测方法的流程示意图。本实施例以上课状态监测方法应用于服务器中来举例说明。该上课状态监测方法可以包括以下步骤:
S201,采集上课视频,对所述上课视频中所包含的至少一个对象进行人脸识别;
所述上课视频为所录制的课程视频,该上课视频可以为网络在线上课时实时录制的,也可以为课程完成后从保存的数据库中读取到的。
在上课视频的各帧图像中,包含有多个对象,所述对象可以为学生或者老师。在本申请实施例中,以对象为学生为例进行说明。其中,所述学生可以包括至少一个。
通过人脸识别的方式对上课视频包含的多帧图像进行人脸识别,并获取识别到的各人脸的身份信息,从而剔除掉身份信息为老师的人脸区域,从而得到各学生的人脸区域。
S202,定位识别到的各人脸区域,提取所述各人脸区域的关键特征点;
定位各学生的人脸区域,并提取各人脸区域的关键特征点,从而方便跟踪关键特征点在不同帧的坐标信息。
所述关键特征点可以是指示面部特征的基准点,例如,脸部轮廓、眼睛轮廓、鼻子、嘴唇等点,可以是83个基准点,也可以是如图5所示的68个基准点,具体的点数可以有开发人员根据需求而定。
S203,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果;
记录这些关键特征点在每帧图像中的坐标信息,然后将当前帧图像中的这些关键特征点与前一帧图像中这些特征点的坐标信息对应比对,从而确定每个特征点在不同帧图像的变化情况。
例如,对于某一个特征点,在第一帧图像中的坐标为S1,在第二帧图像中的坐标为S2,在第三帧图像中的坐标为S3,则确定S2相对S1的变化情况以及S3相对S2的变化情况。按照上述相同的方式,依次统计对每个特征点的变化情况。
S204,基于所述比对结果确定所述各人脸区域的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
所述面部动作即为学生的人脸转动动作,包括在预设时长内的面部朝向角度以及朝向变换次数。所述预设时长可以为基于经验值所设定的一时长,如1分钟,也可以为该上课视频的总时长。其中,面部朝向角度是指相对人脸正视黑板(显示屏)时的转动角度及方向。
基于上述统计的每个关键特征点的变化情况,从而可确定这多个关键特征点对应的人脸的面部动作。
S205,当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
具体可参见S102,此处不再赘述。
S206,输出所述目标对象的上课状态不佳的提示信息。
具体可参见S103,此处不再赘述。
S207,基于所述面部动作获取所述目标对象的目标上课状态分数,确定所述目标上课状态分数所属的分数范围;
可以理解的是,可将所获取的面部动作作为预设算法或预设模型的输入,从而输出该目标对象的上课状态分数。然后依次遍历预设的分数范围,从而确定该上课状态分数具体属于哪个分数范围。
例如,预设分数范围包括:0-30、31-60、61-85、86-100,目标上课状态分数为50,从而确定属于31-60的分数范围。
S208,基于分数范围与教学建议信息的对应关系,确定所述目标对象的教学建议信息;
例如,如表2所示为分数范围与教学建议信息的对应关系,当确定目标上课状态分数属于31-60范围时,则确定对应的而教学建议信息为建议2,从而为家长或老师提供相适应的建议。
表2
分数范围 教学建议
0-30 建议1
31-60 建议2
61-85 建议3
86-100 建议4
S209,基于所述面部动作获取所述至少一个对象的上课状态分数,并获取所述至少一个对象的对象标识以及所述上课视频的开课时间;
同样的,可将所获取的至少一个对象的面部动作作为预设算法或预设模型的输入,从而输出至少一个对象的上课状态分数。
至少一个对象的对象标识可以为至少一个对象的名称、身份信息、上课注册账号等,用于唯一识别至少一个对象。
上课视频的开课时间可以理解为上课的开始时间到结束时间之间的时段。可以理解的是,每天开设多个课程,而不同的课程有不同对象参见,为了方便后续调用某个时间的课程(上课视频),则可基于该开课时间对该上课视频进行保存。
S210,基于所述至少一个对象的对象标识、所述至少一个对象的上课状态分数以及所述开课时间生成上课信息曲线图。
例如,如图6所示为一种上课信息曲线图,该上课信息曲线图对应2019年*月*日x时-y时的上课视频,其中,横轴为至少一个对象标识,如学生1、学生2、…、学生n,纵轴为上课状态分数,每个学生对应不同的上课状态分数,通过该曲线图或直方图可方便用户直观准确的了解各学生的上课状态。
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。同时,基于上课状态分数为上课状态不佳的对象提供合适的教学建议,有助于提升上课质量。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图7,其示出了本申请一个示例性实施例提供的上课状态监测装置的结构示意图。该上课状态监测装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括动作采集模块10、状态确定模块20和提示输出模块30。
动作采集模块10,用于采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
状态确定模块20,用于当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
提示输出模块30,用于输出所述目标对象的上课状态不佳的提示信息。
可选的,如图8所示,所述动作采集模块10,包括:
人脸识别单元101,用于采集上课视频,对所述上课视频中所包含的至少一个对象进行人脸识别;
动作采集单元102,用于定位识别到的各人脸区域,并采集所述各人脸区域的面部动作。
可选的,所述动作采集单元10,具体用于:
提取所述各人脸区域的关键特征点,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果;
基于所述比对结果确定所述各人脸区域的面部动作。
可选的,如图9所示,所述装置还包括:
范围确定模块40,用于基于所述面部动作获取所述目标对象的目标上课状态分数,确定所述目标上课状态分数所属的分数范围;
建议确定模块50,用于基于分数范围与教学建议信息的对应关系,确定所述目标对象的教学建议信息。
可选的,如图9所示,所述装置还包括:
信息获取模块60,用于基于所述面部动作获取所述至少一个对象的上课状态分数,并获取所述至少一个对象的对象标识以及所述上课视频的开课时间;
曲线图生成模块70,用于基于所述至少一个对象的对象标识、所述至少一个对象的上课状态分数以及所述开课时间生成上课信息曲线图。
需要说明的是,上述实施例提供的上课状态监测装置在执行上课状态监测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的上课状态监测装置与上课状态监测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。同时,基于上课状态分数为上课状态不佳的对象提供合适的教学建议,有助于提升上课质量。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图6所示实施例的方法步骤,具体执行过程可以参见图1-图6所示实施例的具体说明,在此不进行赘述。
请参见图10,为本申请实施例提供了一种服务器的结构示意图。如图10所示,所述服务器1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行服务器1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及上课状态监测应用程序。
在图10所示的服务器1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储的上课状态监测应用程序,并具体执行以下操作:
采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
输出所述目标对象的上课状态不佳的提示信息。
在一个实施例中,所述处理器1001在执行采集上课视频中至少一个对象的面部动作时,具体执行以下操作:
采集上课视频,对所述上课视频中所包含的至少一个对象进行人脸识别;
定位识别到的各人脸区域,并采集所述各人脸区域的面部动作。
在一个实施例中,所述处理器1001在执行采集所述各人脸区域的面部动作时,具体执行以下操作:
提取所述各人脸区域的关键特征点,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果;
基于所述比对结果确定所述各人脸区域的面部动作。
在一个实施例中,所述处理器1001在执行确定所述目标对象的上课状态不佳之后,还执行以下操作:
基于所述面部动作获取所述目标对象的目标上课状态分数,确定所述目标上课状态分数所属的分数范围;
基于分数范围与教学建议信息的对应关系,确定所述目标对象的教学建议信息。
在一个实施例中,所述处理器1001还执行以下操作:
基于所述面部动作获取所述至少一个对象的上课状态分数,并获取所述至少一个对象的对象标识以及所述上课视频的开课时间;
基于所述至少一个对象的对象标识、所述至少一个对象的上课状态分数以及所述开课时间生成上课信息曲线图。
在本申请一个或多个实施例中,通过采集上课视频中至少一个对象在预设时长内的面部朝向角度以及朝向变换次数,并当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳,输出所述目标对象的上课状态不佳的提示信息。通过检测上课视频中学生或老师的面部变化情况来确定该学生或老师的上课状态,准确性高,可以为提升上课质量提供参考。同时,基于上课状态分数为上课状态不佳的对象提供合适的教学建议,有助于提升上课质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (10)

1.一种上课状态监测方法,其特征在于,所述方法包括:
采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
输出所述目标对象的上课状态不佳的提示信息。
2.根据权利要求1所述的方法,其特征在于,所述采集上课视频中至少一个对象的面部动作,包括:
采集上课视频,对所述上课视频中所包含的至少一个对象进行人脸识别;
定位识别到的各人脸区域,并采集所述各人脸区域的面部动作。
3.根据权利要求2所述的方法,其特征在于,所述采集所述各人脸区域的面部动作,包括:
提取所述各人脸区域的关键特征点,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果;
基于所述比对结果确定所述各人脸区域的面部动作。
4.根据权利要求1所述的方法,其特征在于,所述确定所述目标对象的上课状态不佳之后,还包括:
基于所述面部动作获取所述目标对象的目标上课状态分数,确定所述目标上课状态分数所属的分数范围;
基于分数范围与教学建议信息的对应关系,确定所述目标对象的教学建议信息。
5.根据权利要求1所述的方法,其特征在于,还包括:
基于所述面部动作获取所述至少一个对象的上课状态分数,并获取所述至少一个对象的对象标识以及所述上课视频的开课时间;
基于所述至少一个对象的对象标识、所述至少一个对象的上课状态分数以及所述开课时间生成上课信息曲线图。
6.一种上课状态监测装置,其特征在于,所述装置包括:
动作采集模块,用于采集上课视频中至少一个对象的面部动作,所述面部动作包括在预设时长内的面部朝向角度以及朝向变换次数;
状态确定模块,用于当在所述至少一个对象中存在所述面部朝向角度大于预设角度且所述朝向变换次数大于预设次数的目标对象时,确定所述目标对象的上课状态不佳;
提示输出模块,用于输出所述目标对象的上课状态不佳的提示信息。
7.根据权利要求6所述的装置,其特征在于,所述动作采集模块,包括:
人脸识别单元,用于采集上课视频,对所述上课视频中所包含的至少一个对象进行人脸识别;
动作采集单元,用于定位识别到的各人脸区域,并采集所述各人脸区域的面部动作。
8.根据权利要求7所述的装置,其特征在于,所述动作采集单元,具体用于:
提取所述各人脸区域的关键特征点,分别比对所述关键特征点在所述上课视频的多帧图像中的坐标信息,获取比对结果;
基于所述比对结果确定所述各人脸区域的面部动作。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~5任意一项的方法步骤。
10.一种服务器,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~5任意一项的方法步骤。
CN201910698137.1A 2019-07-31 2019-07-31 一种上课状态监测方法、装置、存储介质及服务器 Pending CN110443183A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910698137.1A CN110443183A (zh) 2019-07-31 2019-07-31 一种上课状态监测方法、装置、存储介质及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910698137.1A CN110443183A (zh) 2019-07-31 2019-07-31 一种上课状态监测方法、装置、存储介质及服务器

Publications (1)

Publication Number Publication Date
CN110443183A true CN110443183A (zh) 2019-11-12

Family

ID=68432478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910698137.1A Pending CN110443183A (zh) 2019-07-31 2019-07-31 一种上课状态监测方法、装置、存储介质及服务器

Country Status (1)

Country Link
CN (1) CN110443183A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091484A (zh) * 2020-03-19 2020-05-01 浙江正元智慧科技股份有限公司 基于大数据的学生学习行为分析系统
CN111160105A (zh) * 2019-12-03 2020-05-15 北京文香信息技术有限公司 一种视频图像的监测方法、装置、设备及存储介质
CN111401244A (zh) * 2020-03-16 2020-07-10 安博思华智能科技有限责任公司 自适应控制多媒体黑板的方法、装置、介质和电子设备
CN112637678A (zh) * 2021-03-09 2021-04-09 北京世纪好未来教育科技有限公司 一种视频播放方法、装置、存储介质及设备
CN113436481A (zh) * 2020-03-23 2021-09-24 上海贲歌教育科技有限公司 一种儿童远程课堂教育互动系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182397A (zh) * 2017-12-26 2018-06-19 王华锋 一种多姿态多尺度的人脸验证方法
CN108665389A (zh) * 2018-03-12 2018-10-16 沈丹 一种学生用学习辅助系统
CN109670395A (zh) * 2018-10-29 2019-04-23 四川文轩教育科技有限公司 一种基于人工智能的学生专注度监测方法
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN110033400A (zh) * 2019-03-26 2019-07-19 深圳先进技术研究院 一种课堂监控分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182397A (zh) * 2017-12-26 2018-06-19 王华锋 一种多姿态多尺度的人脸验证方法
CN108665389A (zh) * 2018-03-12 2018-10-16 沈丹 一种学生用学习辅助系统
CN109670395A (zh) * 2018-10-29 2019-04-23 四川文轩教育科技有限公司 一种基于人工智能的学生专注度监测方法
CN109815795A (zh) * 2018-12-14 2019-05-28 深圳壹账通智能科技有限公司 基于人脸监测的课堂学生状态分析方法及装置
CN110033400A (zh) * 2019-03-26 2019-07-19 深圳先进技术研究院 一种课堂监控分析系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160105A (zh) * 2019-12-03 2020-05-15 北京文香信息技术有限公司 一种视频图像的监测方法、装置、设备及存储介质
CN111401244A (zh) * 2020-03-16 2020-07-10 安博思华智能科技有限责任公司 自适应控制多媒体黑板的方法、装置、介质和电子设备
CN111401244B (zh) * 2020-03-16 2023-06-02 安博思华智能科技有限责任公司 自适应控制多媒体黑板的方法、装置、介质和电子设备
CN111091484A (zh) * 2020-03-19 2020-05-01 浙江正元智慧科技股份有限公司 基于大数据的学生学习行为分析系统
CN113436481A (zh) * 2020-03-23 2021-09-24 上海贲歌教育科技有限公司 一种儿童远程课堂教育互动系统
CN112637678A (zh) * 2021-03-09 2021-04-09 北京世纪好未来教育科技有限公司 一种视频播放方法、装置、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110443183A (zh) 一种上课状态监测方法、装置、存储介质及服务器
CN106339680B (zh) 人脸关键点定位方法及装置
CN110557678B (zh) 视频处理方法、装置及设备
CN110176226A (zh) 一种语音识别、及语音识别模型训练方法及装置
CN108830559A (zh) 一种基于人脸识别的考勤方法及装置
EP4099709A1 (en) Data processing method and apparatus, device, and readable storage medium
CN110489454A (zh) 一种自适应测评方法、装置、存储介质及电子设备
US20150002690A1 (en) Image processing method and apparatus, and electronic device
CN109816265B (zh) 知识特征掌握度的评价方法、题目推荐方法及电子设备
CN104317389B (zh) 一种通过动作识别人物角色的方法和装置
CN105787480B (zh) 拍摄试题的方法及装置
WO2021004322A1 (zh) 头部特效处理方法及装置、存储介质
CN107507620A (zh) 一种语音播报声音设置方法、装置、移动终端及存储介质
CN105095860B (zh) 字符分割方法和装置
CN111107278B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN109784304A (zh) 用于标注牙齿图像的方法和装置
CN109523852A (zh) 基于视觉监控的学习交互系统及其交互方法
CN108573306B (zh) 输出回复信息的方法、深度学习模型的训练方法及装置
CN107291704A (zh) 处理方法和装置、用于处理的装置
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
CN101751901B (zh) 一种动感电子相册播放方法及装置
CN111666820B (zh) 一种讲话状态识别方法、装置、存储介质及终端
CN112420049A (zh) 数据处理方法、装置及存储介质
CN110413820A (zh) 一种图片描述信息的获取方法及装置
CN111339809A (zh) 一种课堂行为分析方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112