CN114093000A - 课堂提示信息的显示方法及装置 - Google Patents
课堂提示信息的显示方法及装置 Download PDFInfo
- Publication number
- CN114093000A CN114093000A CN202111351002.1A CN202111351002A CN114093000A CN 114093000 A CN114093000 A CN 114093000A CN 202111351002 A CN202111351002 A CN 202111351002A CN 114093000 A CN114093000 A CN 114093000A
- Authority
- CN
- China
- Prior art keywords
- student
- information
- target
- students
- prompt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000002159 abnormal effect Effects 0.000 claims abstract description 109
- 230000009471 action Effects 0.000 claims description 62
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 230000033764 rhythmic process Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010013496 Disturbance in attention Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种课堂提示信息的显示方法、装置、存储介质及电子装置,其中,该方法包括:通过黑板上设置的摄像头获取图像采集区域的第一图像;对第一图像中学生的状态进行识别,得到每个学生的状态信息;根据每个学生的状态信息确定状态异常的目标学生;在黑板上显示提示信息。通过本发明,解决了无法实时显示学生当前的状态信息和位置范围信息的问题,进而达到了可以实时显示学生当前的状态信息和位置范围信息,通过人机交互实时处理当前异常状态信息的效果。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种课堂提示信息的显示方法、装置、存储介质及电子装置。
背景技术
在相关领域,学生在课堂中的状态会直接决定听课效果,比如,若有学生在上课时打瞌睡,做小动作等,不仅会影响到自己的听课效果,还会影响课堂中其他学生的听课效果。同时,出现问题状态的学生也会影响老师的授课和节奏,比如老师需要对异常状态的学生进行提醒。
目前通常需要老师自己发现课堂上状态异常的学生,或者由其他同学提醒老师课堂上出现状态异常的学生。然而老师在教学的过程中,难以时刻的对每个学生的状态进行监管,同学之间也存在包庇的现象。难以及时发现课堂中状态异常的学生的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种课堂提示信息的显示方法及装置,以至少解决相关技术中难以及时发现课堂中状态异常的学生的问题。
根据本发明的一个实施例,提供了一种课堂提示信息的显示方法,包括:通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,其中,所述状态信息用于反映学生的注意力;根据每个学生的所述状态信息确定状态异常的目标学生;在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
可选地,所述在黑板上显示提示信息之后,所述方法还包括:通过所述摄像头获取所述图像采集区域的第二图像;在确定所述第二图像中的所述目标学生的状态为正常状态的情况下,在所述黑板上取消显示所述提示信息。
可选地,所述在黑板上显示提示信息之后,所述方法还包括:在获取到目标指令的情况下,在所述黑板上取消显示所述提示信息。
可选地,所述对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,包括:对所述第一图像中的学生进行人脸识别,得到所述第一图像中的学生的面部信息;或者,对所述第一图像中的学生进行动作识别,得到所述第一图像中的学生的动作信息;其中,所述状态信息包括所述面部信息、所述动作信息。
可选地,所述根据每个学生的所述状态信息确定状态异常的目标学生,包括:在第一面部信息表示的学生的面部朝向不在目标朝向的情况下,确定所述第一面部信息对应的学生为所述目标学生;在第二面部信息表示的学生的眼睛闭合的情况下,确定所述第二面部信息对应的学生为所述目标学生;在第三面部信息表示的学生的嘴部张开的情况下,确定所述第三面部信息对应的学生为所述目标学生;在第一动作信息表示的学生为向左移动或向右移动的情况下,确定所述第一动作信息对应的学生为所述目标学生;在第二动作信息表示的学生为向前移动或向后移动的情况下,确定所述第二动作信息对应的学生为所述目标学生;在第三动作信息表示的学生的头部位于目标物体之上,且所述头部与所述目标物体贴合的情况下,确定所述第三动作信息对应的学生为所述目标学生。
可选地,所述方法还包括:在所述目标学生的所述状态信息包括所述第二面部信息和所述第三面部中的至少一个信息的情况下,确定所述目标学生的异常状态为第一等级;在所述目标学生的所述状态信息包括所述第一面部信息和所述第三动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第二等级;在所述目标学生的所述状态信息包括所述第一动作信息和所述第二动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第三等级;其中,所述第二等级高于所述第一等级,所述第三等级高于所述第二等级。
可选地,在所述黑板上显示提示信息,包括:在确定所述目标学生的异常状态为所述第一等级的情况下,在所述黑板上显示第一提示标识;在确定所述目标学生的异常状态为所述第二等级的情况下,在所述黑板上显示第二提示标识;在确定所述目标学生的异常状态为所述第三等级的情况下,在所述黑板上显示第三提示标识;其中,所述提示信息包括所述:第一提示标识、第二提示标识、第三提示标识。
根据本发明的另一个实施例,提供了一种课堂提示信息的显示设备,包括:图像采集设备,用于获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;第一处理器,用于对所述第一图像中学生的状态进行识别,得到每个学生的状态信息;第二处理器,用于根据每个学生的所述状态信息确定状态异常的目标学生;显示器,用于在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内。
根据本发明的另一个实施例,提供了一种课堂提示信息的显示装置,包括:获取模块,用于通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;识别模块,用于对所述第一图像中学生的状态进行识别,得到每个学生的状态信息;确定模块,用于根据每个学生的所述状态信息确定状态异常的目标学生,其中,所述状态信息用于反映学生的注意力;显示模块,用于在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过黑板上设置的摄像头获取学生所在的图像采集区域的图像,对图像中学生的状态进行识别,得到每个学生的状态信息,根据每个学生的状态信息确定状态异常的学生,并在黑板上显示提示信息。这样可以及时发现课堂上状态异常的学生,进而解决了现有技术中难以及时发现课堂中状态异常的学生的问题。
另外,在黑板上显示状态异常学生在图像采集区域中的目标范围,该目标范围是状态异常学生所在位置的范围,并不直接显示学生的具体位置,模糊化学生所在的位置,这样的提示方式更尊重学生,更加人性化。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种课堂提示信息的显示方法的移动终端硬件结构框图;
图2是根据本发明实施例的课堂提示信息的显示方法流程图;
图3是根据本发明实施例的一种可选的智能黑板的结构图;
图4是根据本发明实施例一种可选的图像采集区域示意图;
图5是根据本发明可选实施例的一种可选的取消显示提示信息的示意图一;
图6是根据本发明可选实施例的一种可选的取消显示提示信息的示意图二;
图7是根据本发明可选实施例的一种可选的显示提示信息的示意图;
图8是根据本发明可选实施例的一种可选的提示信息显示的整体流程图;
图9是根据本发明可选实施例的一种可选的课堂提示信息的显示装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的学生,而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种课堂提示信息的显示方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的课堂提示信息的显示方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的课堂提示信息的显示方法,图2是根据本发明实施例的课堂提示信息的显示的方法流程图,如图2所示,该流程包括如下步骤:
步骤S202,通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
其中,设置摄像头的黑板可以是集成了人工智能监测相机的智能黑板,如图3所示为根据本发明实施例的一种可选的智能黑板的结构图,摄像头可以设置在智能黑板的顶部位置,通过摄像头对图像采集区域内的学生进行拍摄,图像采集区域为学生所在的区域,获取到图像采集区域内包含学生的第一图像。
步骤S204,对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,其中,所述状态信息用于反映学生的注意力;
其中,获取到图像采集区域内包含学生的第一图像之后,对第一图像中的学生状态进行识别,学生的状态信息可以反应学生的注意力情况,识别方式包括但不限于人工智能人脸识别,肢体语言识别,在对学生的状态信息进行识别后,可以获得第一图像中每个学生的状态信息,状态信息可以包括正常状态信息和异常状态信息,正常状态信息可以是表示注意力良好的状态信息,异常状态信息可以是表示注意力较差的状态信息。
步骤S206,根据每个学生的所述状态信息确定状态异常的目标学生;
其中,可以根据识别得到的每个学生的状态信息,确定状态异常的学生,异常状态包括眼睛闭合状态,嘴部张开状态,面部未朝向黑板的状态,或者是移动状态,此处对异常状态不做限制,将处于异常状态的学生,确定为状态异常的目标学生。
步骤S208,在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
其中,在识别并确定出状态异常的目标学生时,在黑板上显示提示信息,提示信息包括状态异常的目标学生在图像采集区域中的目标范围,以及目标学生的状态信息,目标学生的目标范围为目标学生座位的正对方向的位置所在的范围,目标范围内可以包括多个其他学生的位置,比如,目标学生为学生A,则学生A所在的目标范围可以包括学生B和学生C的位置。异常状态包括眼睛闭合状态,嘴部张开状态,面部未朝向黑板的状态,或者是移动状态,可以将学生异常状态进行等级划分,显示不同的标识以区分不同的异常状态等级。
作为一个可选的实施方式,显示提示信息的黑板可以是具有显示功能的智能黑板,如图3所示为根据本发明实施例的一种可选的智能黑板的结构图,智能黑板的功能区A为黑板区域,功能区B为触摸屏显区域,摄像头在智能黑板整机中间的顶部位置。
通过智能黑板中人工智能检测相机的摄像头对学生所在的图像采集区域进行检测,采集包含学生的图像信息。如图4所示是根据本发明实施例一种可选的图像采集区域示意图,可以在智能黑板的屏幕显示区域中显示状态异常的目标学生对应的提示信息,提示信息中包括状态异常的目标学生在图像采集区域中的目标范围,提示信息可以用图形表示,比如,可以用圆形表示低级异常状态,如走神等轻度专注力问题,用方型表示中级异常状态,比如打瞌睡,转头等中度专注力问题,用三角型表示高级异常状态,如移动,趴在桌子上睡觉等。同时,可以显示与学生座位正对的位置,用于表示学生所在的区域范围,在智能黑板的屏幕上不会直接显示学生座位,通过标记几何图形符号的方式,以水印方式模糊化学生区域。使老师能够及时发现出现异常状态学生的情况,并且找到出现异常状态的学生,无需耗费精力寻找,同时,学生们也能够通过显示的提示信息发现自己的异常状态后作出相应调整。
可选地,所述在黑板上显示提示信息之后,所述方法还包括:通过所述摄像头获取所述图像采集区域的第二图像;在确定所述第二图像中的所述目标学生的状态为正常状态的情况下,在所述黑板上取消显示所述提示信息。
作为一个可选的实施方式,在图像采集区域中获取到包含学生的第一图像,在识别到异常状态学生的情况下,智能黑板上可以显示提示信息,包括异常状态的学生的位置区域,以及异常状态学生的异常状态等级标识,可以将眼睛闭合的异常状态划分为第一等级的异常状态,第一等级可以用于表示最低级别的异常状态,假设第一等级的异常状态使用圆形标识,假设学生A出现了眼睛闭合的异常状态,则在智能黑板的屏幕显示区域中显示提示信息,如图5所示是根据本发明可选实施例的一种可选地取消显示提示信息的示意图,在黑板上出现异常状态的学生A的提示信息后,在图像采集区域获取包含学生的第二图像,假设此时第二图像中学生A的状态已经调整为正常状态,则在智能黑板中取消显示学生A的提示信息。
可选地,所述在黑板上显示提示信息之后,所述方法还包括:在获取到目标指令的情况下,在所述黑板上取消显示所述提示信息。
作为一个可选的实施方式,在获取到的包含学生的图像中,识别出异常状态的学生时,智能黑板上可以显示提示信息,包括异常状态的学生的位置区域,以及异常状态学生的异常状态等级标识,可以将眼睛闭合的异常状态划分为第一等级的异常状态,第一等级可以用于表示最低级别的异常状态,假设第一等级的异常状态使用圆形标识,假设学生A出现了眼睛闭合的异常状态,则在智能黑板的屏幕显示区域中显示提示信息,如图6所示是根据本发明可选实施例的一种可选地取消显示提示信息的示意图,在黑板上出现异常状态的学生A的提示信息时,可以通过发送目标指令的方式取消显示提示信息,在智能黑板获取到目标指令后,取消显示提示信息,目标指令可以通过触控屏幕显示区域的方式获取,或者是通过遥控笔遥控的方式获取,可以根据实际情况选择目标指令的获取方式。
可选地,所述对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,包括:对所述第一图像中的学生进行人脸识别,得到所述第一图像中的学生的面部信息;或者,对所述第一图像中的学生进行动作识别,得到所述第一图像中的学生的动作信息;其中,所述状态信息包括所述面部信息、所述动作信息。
作为一个可选的实施方式,对获取到的第一图像中的每个学生的状态进行识别,可以得到每个学生对应的状态信息。状态识别的方式可以是对学生进行人脸识别,比如可以对学生的面部表情进行实时分析和识别,获取到第一图像中每个学生的面部表情信息,或者可以通过对第一图像中每个学生的动作进行识别,比如可以通过对肢体语言状态的深度学习进行识别,或者是通过对学生动作的记忆和比对进行识别,获得第一图像中每个学生的动作信息,以上识别方式统一在后端进行数据的比对和分析处理,获得每个学生的面部信息和动作信息。
可选的,所述根据每个学生的所述状态信息确定状态异常的目标学生,包括:在第一面部信息表示的学生的面部朝向不在目标朝向的情况下,确定所述第一面部信息对应的学生为所述目标学生;在第二面部信息表示的学生的眼睛闭合的情况下,确定所述第二面部信息对应的学生为所述目标学生;在第三面部信息表示的学生的嘴部张开的情况下,确定所述第三面部信息对应的学生为所述目标学生;在第一动作信息表示的学生为向左移动或向右移动的情况下,确定所述第一动作信息对应的学生为所述目标学生;在第二动作信息表示的学生为向前移动或向后移动的情况下,确定所述第二动作信息对应的学生为所述目标学生;在第三动作信息表示的学生的头部位于目标物体之上,且所述头部与所述目标物体贴合的情况下,确定所述第三动作信息对应的学生为所述目标学生。
作为一个可选的实施方式,可以根据第一图像中每个学生的面部信息和动作信息确定状态异常的目标学生。在获得的面部信息中识别到学生A的面部朝向不在目标朝向的情况下,确定为第一面部信息,目标朝向可以为朝向黑板的方向;在获得的面部信息中识别到学生B的眼睛闭合的情况下,确定为第二面部信息,眼睛闭合一般表示该学生出现打瞌睡或者睡觉的异常状态;在获得的面部信息中识别到学生C的嘴部张开的情况下,确定为第三面部信息,嘴部张开一般表示处于和其他学生说话的异常状态。
在获得的动作信息中识别到学生D为向左移动或向右移动的情况下,确定为第一动作信息;在获得的动作信息中识别到学生E为向前移动或向后移动的情况下,确定为第二动作信息;上述第一动作信息和第二动作信息表示学生当前处于移动的异常状态下,在获得的动作信息中识别到学生F的头部位于目标物体之上的情况下,确定为第三动作信息,其中目标物体可以是桌子,表示学生处于趴在桌子上的异常状态。通过上述面部信息和动作信息可以识别处于异常状态的目标学生。
可选地,在所述目标学生的所述状态信息包括所述第二面部信息和所述第三面部中的至少一个信息的情况下,确定所述目标学生的异常状态为第一等级;在所述目标学生的所述状态信息包括所述第一面部信息和所述第三动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第二等级;在所述目标学生的所述状态信息包括所述第一动作信息和所述第二动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第三等级;其中,所述第二等级高于所述第一等级,所述第三等级高于所述第二等级。
作为一个可选的实施方式,可以将学生的异常状态信息按等级划分,比如可以划分为三个等级,分别为第一等级、第二等级和第三等级,按异常状态等级由高到低排序依次为第三等级、第二等级和第一等级。在学生的眼睛闭合的情况下,和/或学生的嘴部张开的情况下,确定所述目标学生的异常状态为第一等级;在学生的面部朝向不在目标朝向的情况下,和/或学生的头部位于目标物体之上,且所述头部与所述目标物体贴合的情况下,确定所述目标学生的异常状态为第二等级;在学生为向左移动或向右移动的情况下,和/或学生为向前移动或向后移动的情况下,确定所述目标学生的异常状态为第三等级;
可选地,在所述黑板上显示提示信息,包括:在确定所述目标学生的异常状态为所述第一等级的情况下,在所述黑板上显示第一提示标识;在确定所述目标学生的异常状态为所述第二等级的情况下,在所述黑板上显示第二提示标识;在确定所述目标学生的异常状态为所述第三等级的情况下,在所述黑板上显示第三提示标识;其中,所述提示信息包括所述:第一提示标识、第二提示标识、第三提示标识。
作为一个可选的实施方式,可以在智能黑板上显示提示信息,提示信息中包括学生异常状态的等级信息,可以使用不同的提示标识表示不同的异常状态等级,比如使用第一提示标识、第二提示标识和第三提示标识分别表示第一等级异常状态,第二等级异常状态和第三等级异常状态,可以使用不同的几何符号表示不同的提示标识,比如第一标识可以是圆形,第二标识可以是正方形,第三标识可以是三角形,如图7所示是根据本发明可选实施例的一种可选的显示提示信息的示意图,可以在智能黑板中针对不同异常状态等级的目标学生进行标识和提示,假设学生A出现了第一等级的异常状态,学生B出现了第二等级的异常状态,学生C出现了第三等级的异常状态,则如图7所示,在智能黑板中显示三个学生的异常状态情况,分别为圆形的第一提示标识,方形的第二提示标识,以及三角形的第三提示标识。通过上述方式,老师在讲课时可通过出现的图形,根据实际情况提醒学生或者让学生改进其课堂专注力,并调整自己的授课方式和节奏,同时可以让学生更有效的学习知识,提升上课效率。
作为一个可选的实施方式,如图8所示是根据本发明可选实施例的一种可选的提示信息显示的整体流程图,智能黑板开始运行之后,在正常显示教学内容的同时,智能黑板顶部的摄像头开始运行,对图像采集区域内的学生进行状态监测,并获取包含学生的第一图像,通过在第一图像中捕捉到的学生面部信息和动作信息识别学生的状态,并通过智能黑板将学生的状态情况实时反馈给教师,若学生的专注力良好,则识别学生为正常状态,黑板正常显示授课内容,此时不会显示用于表示学生异常状态的提示信息,当出现专注力较差的学生时,识别学生为异常状态,则在黑板中显示提示信息,老师在看到提示信息后,可以选择取消对课堂提示信息的显示,比如可以通过触控或者遥控的方式取消课堂提示信息的显示,智能黑板在获取到用于指示取消显示提示信息的目标指令后,在智能黑板上取消显示提示信息,此时,老师也可以选择对状态异常的学生进行提醒,或自身调整上课节奏和内容,达到提升授课效率的效果。学生在黑板中看到标识自己位置区域的提示信息之后,或者在老师看到提示信息后对学生进行提醒的情况下,学生可以调整自己的状态,此时智能黑板会通过摄像头获取包含学生的第二图像,通过学生的面部信息和动作信息识别学生的状态,当学生的状态变为正常的情况下,在智能黑板中正常显示授课内容,不再显示提示信息。
作为一个可选的实施方式,首先老师进入教室,开始讲课,智能黑板开始运行,在正常显示教学内容的同时,顶部的人工智能监测相机开始运行,对覆盖范围内的学生进行专注力的监测,监测方式分为三点:1.通过人工智能人脸面部表情的分析,2.通过相机深度学习肢体语言的状态,3.通过对学生动作的记忆和比对,以上三种方式统一在后端进行数据的比对和分析处理,实时反馈教师,实时的班级上课专注力状况,专注力良好,黑板正常工作显示无变化,有专注力较差和专注力差的学生出现,黑板将“强”提醒老师,“弱”提醒学生(提醒方式后面介绍),老师得到反馈会,对专注力差的学生进行提醒或自身调整上课节奏和内容,最终目的提升授课的效率。黑板的反馈方式如下,出现专注力差的学生后,黑板B区域显示屏会出现三个等级的标志符号,此符号浮现于黑板上不影响授课内容,符号线条细,颜色淡,出现在平板的位置为学生作为的正对位置(“强”提醒老师),老师能够轻松的发现并且找到,无需再费精力寻找,学生也能够发现自己在注意力不集中后会有标记出现,自主调整(“弱”提醒学生),提醒调整后符号主动消失,也可手动去除。反馈符号以图形形式出现,分为三个等级:圆形为低级,代表此学生有走神,眼神游离等较轻专注力问题出现,方型为中级代表此学生有走神,打瞌睡问题现象出现,三角型为高级代表此学生有睡觉做小动作等现象出现,老师在讲课时可通过出现符号等级,根据实际情况提醒学生,或者让学生改进其课堂专注力,并调整自己的授课方式和节奏,让学生更好的实现有效的知识学习,提升上课的效率。如图7所示,反馈方式为通过黑板显示专注度低学生的所在区域(屏幕不直接显示学生座位),标记几何符号,以水印方式模糊化学生区域,黑板显示区域与学生位置为正对方向,老师可快速直观的看到反馈内容并进行回应。
可选地,上述步骤的执行主体可以为终端等,但不限于此。
本发明可以实时对学生上课专注度进行智能识别,通过黑板上的摄像头对监测范围内上课的学生进行实时表情扑捉,身体姿态监测等,并在后端进行分析对比,将数据实时反馈给授课教师,通过黑板显示专注度低学生的所在区域(屏幕不直接显示学生座位),以水印方式模糊化学生区域,教师通过黑板上的学生座位区域通过图形标记提示老师,辅助教师适度提醒学生及时调整授课内容和节奏,提升授课的实际效率。
通过本申请可以达到以下效果:通过多种监测方式和等级分类,而不是单一的靠分值给出结论,因此本案得出的监测结果更加全面更加真实。通过摄像头对学生脸部表情,肢体语言和动作进行分析比对对图形进行超高清处理采用的均为目前最领先的人工智能图形分析技术。申请中具有反馈功能,不仅是进行专注力监测还进行实时等级反馈,实时解决专注力问题,而不是得分后进行批评教育,旨在实时课堂上提升专注力,最终提升学生上课效率。能够实际减轻老师上了的负担,可专心授课智能黑板能够分担老师对学生状态的监测和分析,协助老师提醒专注力出现问题的学生和帮助老师改进授课方式和节奏。具人性化,改变了传统课堂的老师与学生间的关系,学生,老师与黑板的交互关系。
通过一种新型的黑板,老师,学生三者的课堂全新授课交互方式。通过黑板显示专注度低学生的所在区域(屏幕不直接显示学生座位),标记几何符号,以水印方式模糊化学生区域通过对学生的表情,肢体语言,动作的分析处理实时反馈老师,让老师实时清晰班级学生上课时的专注度层级,按层级提升上课效率。通过屏幕显示学生专注度等级分类帮助老师了解学生专注度低中高,提醒学生并调整授课方式。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种课堂提示信息的显示装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明可选实施例的一种可选的课堂提示信息的显示装置的结构框图,如图9所示,该装置包括:获取模块92,用于通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;识别模块94,用于对所述第一图像中学生的状态进行识别,得到每个学生的状态信息;确定模块96,用于根据每个学生的所述状态信息确定状态异常的目标学生,其中,所述状态信息用于反映学生的注意力;显示模块98,用于在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
可选地,上述装置还用于通过所述摄像头获取所述图像采集区域的第二图像;在确定所述第二图像中的所述目标学生的状态为正常状态的情况下,在所述黑板上取消显示所述提示信息。
可选地,上述装置还用于在获取到目标指令的情况下,在所述黑板上取消显示所述提示信息。
可选地,上述第一确定模块还用于对所述第一图像中的学生进行人脸识别,得到所述第一图像中的学生的面部信息;对所述第一图像中的学生进行动作识别,得到所述第一图像中的学生的动作信息;其中,所述状态信息包括所述面部信息、所述动作信息。
可选地,上述第一确定模块还用于在第一面部信息表示的学生的面部朝向不在目标朝向的情况下,确定所述第一面部信息对应的学生为所述目标学生;在第二面部信息表示的学生的眼睛闭合的情况下,确定所述第二面部信息对应的学生为所述目标学生;在第三面部信息表示的学生的嘴部张开的情况下,确定所述第三面部信息对应的学生为所述目标学生;在第一动作信息表示的学生为向左移动或向右移动的情况下,确定所述第一动作信息对应的学生为所述目标学生;在第二动作信息表示的学生为向前移动或向后移动的情况下,确定所述第二动作信息对应的学生为所述目标学生;在第三动作信息表示的学生的头部位于目标物体之上,且所述头部与所述目标物体贴合的情况下,确定所述第三动作信息对应的学生为所述目标学生。
可选地,上述装置还用于:在所述目标学生的所述状态信息包括所述第二面部信息和所述第三面部中的至少一个信息的情况下,确定所述目标学生的异常状态为第一等级;在所述目标学生的所述状态信息包括所述第一面部信息和所述第三动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第二等级;在所述目标学生的所述状态信息包括所述第一动作信息和所述第二动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第三等级;其中,所述第二等级高于所述第一等级,所述第三等级高于所述第二等级。
可选地,上述显示模块还用于在确定所述目标学生的异常状态为所述第一等级的情况下,在所述黑板上显示第一提示标识;在确定所述目标学生的异常状态为所述第二等级的情况下,在所述黑板上显示第二提示标识;在确定所述目标学生的异常状态为所述第三等级的情况下,在所述黑板上显示第三提示标识;其中,所述提示信息包括所述:第一提示标识、第二提示标识、第三提示标识。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
S2,对所述第一图像中学生的状态进行识别,得到每个学生的状态信息;
S3,根据每个学生的所述状态信息确定状态异常的目标学生;
S4,在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
S2,对所述第一图像中学生的状态进行识别,得到每个学生的状态信息;
S3,根据每个学生的所述状态信息确定状态异常的目标学生;
S4,在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种课堂提示信息的显示方法,其特征在于,包括:
通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,其中,所述状态信息用于反映学生的注意力;
根据每个学生的所述状态信息确定状态异常的目标学生;
在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
2.根据权利要求1所述的方法,其特征在于,所述在黑板上显示提示信息之后,所述方法还包括:
通过所述摄像头获取所述图像采集区域的第二图像;
在确定所述第二图像中的所述目标学生的状态为正常状态的情况下,在所述黑板上取消显示所述提示信息。
3.根据权利要求1所述的方法,其特征在于,所述在黑板上显示提示信息之后,所述方法还包括:
在获取到目标指令的情况下,在所述黑板上取消显示所述提示信息。
4.根据权利要求1至3中任一项所述的方法,所述对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,包括:
对所述第一图像中的学生进行人脸识别,得到所述第一图像中的学生的面部信息;或者,
对所述第一图像中的学生进行动作识别,得到所述第一图像中的学生的动作信息;
其中,所述状态信息包括所述面部信息、所述动作信息。
5.根据权利要求4所述的方法,所述根据每个学生的所述状态信息确定状态异常的目标学生,包括:
在第一面部信息表示的学生的面部朝向不在目标朝向的情况下,确定所述第一面部信息对应的学生为所述目标学生;
在第二面部信息表示的学生的眼睛闭合的情况下,确定所述第二面部信息对应的学生为所述目标学生;
在第三面部信息表示的学生的嘴部张开的情况下,确定所述第三面部信息对应的学生为所述目标学生;
在第一动作信息表示的学生为向左移动或向右移动的情况下,确定所述第一动作信息对应的学生为所述目标学生;
在第二动作信息表示的学生为向前移动或向后移动的情况下,确定所述第二动作信息对应的学生为所述目标学生;
在第三动作信息表示的学生的头部位于目标物体之上,且所述头部与所述目标物体贴合的情况下,确定所述第三动作信息对应的学生为所述目标学生。
6.根据权利要求5所述的方法,所述方法还包括:
在所述目标学生的所述状态信息包括所述第二面部信息和所述第三面部中的至少一个信息的情况下,确定所述目标学生的异常状态为第一等级;
在所述目标学生的所述状态信息包括所述第一面部信息和所述第三动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第二等级;
在所述目标学生的所述状态信息包括所述第一动作信息和所述第二动作信息中的至少一个信息的情况下,确定所述目标学生的异常状态为第三等级;
其中,所述第二等级高于所述第一等级,所述第三等级高于所述第二等级。
7.根据权利要求6所述的方法,在所述黑板上显示提示信息,包括:
在确定所述目标学生的异常状态为所述第一等级的情况下,在所述黑板上显示第一提示标识;
在确定所述目标学生的异常状态为所述第二等级的情况下,在所述黑板上显示第二提示标识;
在确定所述目标学生的异常状态为所述第三等级的情况下,在所述黑板上显示第三提示标识;
其中,所述提示信息包括所述:第一提示标识、第二提示标识、第三提示标识。
8.一种课堂提示信息的显示设备,其特征在于,包括:
图像采集设备,用于获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
第一处理器,用于对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,其中,所述状态信息用于反映学生的注意力;
第二处理器,用于根据每个学生的所述状态信息确定状态异常的目标学生;
显示器,用于在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
9.一种课堂提示信息的显示装置,其特征在于,包括:
获取模块,用于通过黑板上设置的摄像头获取图像采集区域的第一图像,其中,所述图像采集区域是学生所在区域;
识别模块,用于对所述第一图像中学生的状态进行识别,得到每个学生的状态信息,其中,所述状态信息用于反映学生的注意力;
确定模块,用于根据每个学生的所述状态信息确定状态异常的目标学生;
显示模块,用于在黑板上显示提示信息,其中,所述提示信息包括所述目标学生在所述图像采集区域中的目标范围,以及所述目标学生的状态信息,所述目标学生位于所述图像采集区域中的目标位置,所述目标位置位于所述目标范围内,所述目标范围内还包括多个其他学生的位置。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述程序可被终端设备或计算机运行时执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351002.1A CN114093000A (zh) | 2021-11-15 | 2021-11-15 | 课堂提示信息的显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351002.1A CN114093000A (zh) | 2021-11-15 | 2021-11-15 | 课堂提示信息的显示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114093000A true CN114093000A (zh) | 2022-02-25 |
Family
ID=80300720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111351002.1A Pending CN114093000A (zh) | 2021-11-15 | 2021-11-15 | 课堂提示信息的显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114093000A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708657A (zh) * | 2022-03-30 | 2022-07-05 | 深圳可视科技有限公司 | 一种基于多媒体教学的学生注意力检测方法及系统 |
-
2021
- 2021-11-15 CN CN202111351002.1A patent/CN114093000A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708657A (zh) * | 2022-03-30 | 2022-07-05 | 深圳可视科技有限公司 | 一种基于多媒体教学的学生注意力检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101933A (zh) | 一种基于人工智能的情绪行为可视化分析方法 | |
CN111027486A (zh) | 一种中小学课堂教学效果大数据辅助分析评价系统及其方法 | |
CN102945624A (zh) | 基于云计算模型和表情信息反馈的智能化视频教学系统 | |
CN107103802A (zh) | 基于在线教育的实时人眼甄别系统和方法 | |
CN107742266A (zh) | 一种基于增强现实的教学系统 | |
Hieu et al. | Identifying learners’ behavior from videos affects teaching methods of lecturers in Universities | |
CN112380937B (zh) | 移动端眼动跟踪驱动的智慧课堂教学可视分析方法和系统 | |
He et al. | An educational robot system of visual question answering for preschoolers | |
Dreyfus | System 0: The overlooked explanation of expert intuition | |
CN109448337A (zh) | 多媒体教学上课提醒方法及系统 | |
Verma | Geospatial thinking of undergraduate students in public universities in the United States | |
CN106504600A (zh) | 一种早教智能学习系统 | |
CN114093000A (zh) | 课堂提示信息的显示方法及装置 | |
CN106409033A (zh) | 远程教学辅助系统及该系统用远程教学方法和设备 | |
Zhao et al. | Big data–Artificial Intelligence fusion technology in education in the context of the new crown epidemic | |
KR102515987B1 (ko) | 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법 | |
CN109886850A (zh) | 一种用于智能教室的数据综合管理系统及管理方法 | |
CN109447050B (zh) | 一种在线课堂用户情绪可视化系统 | |
CN107665693A (zh) | 一种基于物联网的课用设备控制系统 | |
Yun et al. | User-centric approach to the design of a mobile learning companion | |
CN115690867A (zh) | 课堂专注度检测方法、装置、设备及存储介质 | |
Brawner | Modeling learner mood in realtime through biosensors for intelligent tutoring improvements | |
CN113095208A (zh) | 应用于大学英语教学课堂的注意力观测与提醒系统 | |
Lombard et al. | Academic engagement of Eastern Cape Grade 8 township learners with depictive representations of simple electric circuits: a focus on low-achieving learners with limited science self-confidence | |
CN111053358A (zh) | 一种基于多通道交互的互联网学习桌 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |