CN114339149A - 电子设备及学习监督方法 - Google Patents

电子设备及学习监督方法 Download PDF

Info

Publication number
CN114339149A
CN114339149A CN202111619613.XA CN202111619613A CN114339149A CN 114339149 A CN114339149 A CN 114339149A CN 202111619613 A CN202111619613 A CN 202111619613A CN 114339149 A CN114339149 A CN 114339149A
Authority
CN
China
Prior art keywords
learning
information
target object
terminal
concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111619613.XA
Other languages
English (en)
Inventor
刘敏
刘坤
许丽星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Holding Co Ltd
Original Assignee
Hisense Group Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Holding Co Ltd filed Critical Hisense Group Holding Co Ltd
Priority to CN202111619613.XA priority Critical patent/CN114339149A/zh
Publication of CN114339149A publication Critical patent/CN114339149A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请公开了一种电子设备及学习监督方法,属于电子技术领域。所述电子设备用于:获取目标对象在学习过程中的视频流;对视频流中目标对象的行为信息进行分析,确定学习过程中目标对象各个时刻的专注度;确定与专注度相关的目标对象的学习信息;向目标对象的监督设备发送学习信息,以供监督设备显示学习信息。本申请解决了对目标对象的学习过程的监督效果较差的问题,且有利于隐私保护。本申请用于对目标对象的学习过程进行监督。

Description

电子设备及学习监督方法
技术领域
本申请涉及电子技术领域,特别涉及一种电子设备及学习监督方法。
背景技术
随着电子技术的发展,图像采集技术被广泛应用于各种场景。
相关技术中,家长可以通过学习监督系统对孩子的学习过程进行远程监督。如学习监督系统包括孩子所处环境中的摄像设备和家长使用的显示设备。该摄像设备可以实时拍摄孩子的视频,并将拍摄的视频传输至家长使用的显示设备,该显示设备可以显示接收的视频,以供家长了解孩子的学习状态,如了解孩子是否在专心学习。
但是相关技术中,家长需要持续实时地观看视频才能了解孩子的学习状态,该学习监督系统的监督效果较差。
发明内容
本申请提供了一种电子设备及学习监督方法,可以解决学习监督系统的监督效果较差的问题。所述技术方案如下:
一方面,提供了一种电子设备,所述电子设备用于:
获取目标对象在学习过程中的视频流;
对所述视频流中所述目标对象的行为信息进行分析,确定所述学习过程中所述目标对象各个时刻的专注度;
确定与所述专注度相关的所述目标对象的学习信息;
向所述目标对象的监督设备发送所述学习信息,以供所述监督设备显示所述学习信息。
另一方面,提供了一种学习监督方法,用于电子设备,所述方法包括:
获取目标对象在学习过程中的视频流;
对所述视频流中所述目标对象的行为信息进行分析,确定所述学习过程中所述目标对象各个时刻的专注度;
确定与所述专注度相关的所述目标对象的学习信息;
向所述目标对象的监督设备发送所述学习信息,以供所述监督设备显示所述学习信息。
本申请提供的技术方案带来的有益效果至少包括:
本申请中,电子设备对目标对象在学习过程中的视频流进行分析,以确定学习过程中目标对象各个时刻的专注度,进而可以向目标对象的监督设备发送与该专注度相关的目标对象的学习信息,以供监督设备显示该学习信息。如此一来,家长在任意时刻观看监督设备,都可以获知孩子在此之前各个时刻是否在专心学习,无需持续实时地观看监督设备,简化了家长的监督过程,提高了对目标对象的学习过程的监督效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种学习监督系统的结构示意图;
图2是本申请实施例提供的一种电子设备的结构示意图;
图3是本申请实施例提供的一种服务器的结构示意图;
图4是本申请实施例提供的一种学习监督方法的流程图;
图5是本申请实施例提供的另一种学习监督方法的流程图;
图6是本申请实施例提供的一种第一终端的显示界面的示意图;
图7是本申请实施例提供的另一种第一终端的显示界面的示意图;
图8是本申请实施例提供的一种将图像映射至三维坐标系中的示意图;
图9是本申请实施例提供的一种对图像进行关键点识别得到的关键点的示意图;
图10是本申请实施例提供的一种第二终端的显示界面的示意图;
图11是本申请实施例提供的再一种第一终端的显示界面的示意图;
图12是本申请实施例提供的另一种第二终端的显示界面的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
随着电子技术以及通信技术的发展,人们的工作生活变得越来越方便快捷,很多事情均可以通过终端实现。在教育场景中,为了养成学生良好的学习习惯,保证学生按时完成学习任务,需要家长或老师对学生的学习过程进行监督。尤其小学阶段是学生学习习惯的重要培养期,在此阶段需要通过强化行为来培养学生良好的学习习惯,提高学生学习时的专注度。由于家长时常需要兼顾工作和家庭,无法时刻对孩子的学习过程进行实地监督,故目前为了便于家长对孩子进行学习监督,可以通过摄像设备(如监控设备)采集孩子的视频,家长可以通过终端远程观看该视频,以了解孩子的状态。但是该方式家长需要持续观看视频,且家长仅能知晓孩子在做什么,对于孩子实际的学习进度以及专注情况等学习相关信息均无法了解。因此,通过该方式对孩子的学习过程的监督效果较差。
本申请以下实施例提供了一种电子设备及学习监督方法,可以供家长获知孩子学习过程中的专注情况以及学习进度等学习相关信息,且无需家长持续地观看视频。如此可以提高学习监督效果,简化家长的学习监督过程,减轻家长对孩子进行学习监督的负担。
图1是本申请实施例提供的一种学习监督系统的结构示意图。如图1所示,该学习监督系统10可以包括第一终端101、第二终端102和服务器103。第一终端101和第二终端102均与服务器103连接,第一终端101和第二终端102可以通过该服务器103进行信息交互。第一终端101和第二终端102中可以安装有学习监督应用程序,服务器103可以是为该应用程序提供服务的服务器。第一终端101可以为处于被监督的目标对象(如学生或孩子)所在区域内的电子设备,第二终端102可以为处于监督者(如老师或家长)所在区域内的监督设备。用户可以启动该应用程序,以通过该学习监督系统实现对第一终端101处的目标对象的学习过程进行监督。
第一终端101具有视频采集功能,第一终端101可以采集目标对象的视频流。第一终端101还能与其他设备进行信息交互,第一终端101还可以具备显示功能。如第一终端101可以为智能手机、平板电脑、笔记本电脑或者台式电脑等设备。可选地,第一终端101还可以为连接有摄像头的智能家居设备,如智能电视、智能台灯或智能冰箱等。第二终端102具有显示功能,第二终端102可以显示服务器103发送的信息。第二终端102可以具有显示屏且能与其他设备进行信息交互。第二终端102可以为智能手机、平板电脑、笔记本电脑或者台式电脑等设备。
图2是本申请实施例提供的一种电子设备的结构示意图,该终端可以为上述的第一终端101,也可以为上述的第二终端102。如图2所示,该电子设备可以包括:处理器1101、晶振单元120、摄像头1032、显示屏130、射频(radio frequency,RF)电路150、音频电路160、无线保真(wireless fidelity,Wi-Fi)模块170、蓝牙模块180、电源190等部件。该Wi-Fi模块170和蓝牙模块180可以共同作为电子设备中的通信单元。
其中,处理器1101是电子设备的控制中心(也可以称为控制器),利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器140内的软件程序,以及调用存储在存储器140内的数据,执行电子设备的各种功能和处理数据。在一些实施例中,处理器1101可包括一个或多个处理单元;处理器1101还可以集成应用处理器(AP)和基带处理器(BP),其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1101中。本申请中处理器1101可以运行操作系统和应用程序,可以控制用户界面显示,并可以实现本申请实施例提供的方法。另外,处理器1101与输入单元和触控显示屏130耦接。
摄像头1032可用于捕获静态图片或视频。物体通过镜头生成光学图片投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1101转换成数字图片信号。
触控显示屏130可用于接收输入的数字或字符信息,产生与电子设备的用户设置以及功能控制有关的信号输入,可选的,触控显示屏130还可以用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种菜单的图形用户界面(graphical userinterface,GUI)。触控显示屏130可以包括显示屏。显示屏可以采用液晶显示器或发光二极管等形式来配置。触控显示屏130还可以包括触控屏。触控屏可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。触控屏可以覆盖在显示屏之上,也可以将触控屏与显示屏集成而实现电子设备的输入和输出功能,集成后可以简称触控显示屏。
存储器140可用于存储软件程序及数据。处理器1101通过运行存储在存储器140的软件程序或数据,从而执行电子设备的各种功能以及数据处理。存储器140可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得电子设备能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序,还可以存储执行本申请实施例提供的学习监督方法的代码。
RF电路150可用于在收发信息或通话过程中信号的接收和发送,可以接收基站的下行数据后交给处理器1101处理;可以将上行数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。音频电路160、扬声器161、麦克风162可提供用户与电子设备之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出。电子设备还可配置音量按钮,用于调节声音信号的音量。另一方面,麦克风162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出至RF电路150以发送给比如另一电子设备,或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以获取用户的语音。
Wi-Fi属于短距离无线传输技术,电子设备可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问。蓝牙模块180,用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,电子设备可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴管理设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
电子设备还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器1101逻辑相连,从而通过电源管理系统实现管理充电、放电以及功耗等功能。电子设备还可配置有电源按钮,用于电子设备的开机和关机,以及锁屏等功能。电子设备还可以包括至少一种传感器1110,比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。电子设备还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。
图3是本申请实施例提供的一种服务器的结构示意图。该服务器包括中央处理单元(CPU)301、随机存取存储器(RAM)302和只读存储器(ROM)303的系统存储器304,以及连接系统存储器304和中央处理单元301的系统总线305。所述服务器还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)306,和用于存储操作系统313、应用程序314和其他程序模块315的大容量存储设备307。
所述基本输入/输出系统306包括用于显示信息的显示器308和用于用户输入信息的诸如鼠标、键盘之类的输入设备309。其中所述显示器308和输入设备309都通过连接到系统总线305的输入输出控制器310连接到中央处理单元301。所述基本输入/输出系统306还可以包括输入输出控制器310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备307通过连接到系统总线305的大容量存储控制器(未示出)连接到中央处理单元301。所述大容量存储设备307及其相关联的计算机可读介质为服务器提供非易失性存储。也就是说,所述大容量存储设备307可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器304和大容量存储设备307可以统称为存储器。
根据本申请的各种实施例,所述服务器还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器可以通过连接在所述系统总线305上的网络接口单元311连接到网络312,或者说,也可以使用网络接口单元311来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序,所述一个或者一个以上程序存储于存储器中,中央处理器301执行该一个或一个以上程序。
图4是本申请实施例提供的一种学习监督方法的流程图,该方法可以用于图2所示的电子设备,该电子设备可以为图1所示的学习监督系统中的第一终端101。如图4所示,该方法可以包括:
步骤401、获取目标对象在学习过程中的视频流。
第一终端可以在接收到目标对象的开始学习指令后,确定目标对象的学习过程开始,进而采集目标对象的视频流。
本申请实施例中,第一终端处于目标对象所在区域内,目标对象可以为被监督的孩子或学生。第一终端也可称为学生端设备。目标对象在开始学习时,可以在第一终端上进行操作,以触发第一终端接收到目标对象的开始学习指令。如第一终端上可以显示有开始学习控件,目标对象可以点击该开始学习控件,以触发第一终端接收到开始学习指令。第一终端可以基于该开始学习指令采集视频流。如第一终端中的控制器可以基于该开始学习指令,控制第一终端中的摄像头启动工作,以采集目标对象的视频流。
可选地,第一终端在基于开始学习指令开始采集视频后,可以先检测采集的视频中是否存在目标对象的影像。若第一终端未在采集的视频中检测到目标对象,则可以发出提醒信息,以提醒目标对象调整第一终端的视频采集方向或调整目标对象的所在位置,以使目标对象位于第一终端的视频采集范围中。
步骤402、对该视频流中目标对象的行为信息进行分析,确定学习过程中目标对象各个时刻的专注度。
第一终端在采集到目标对象的视频流后,可以对该视频流中的各帧图像进行分析,以确定各个时刻目标对象的行为信息。示例地,本申请实施例中,目标对象的行为信息可以包括表情、动作以及姿势等信息。第一终端可以基于各个时刻目标对象的这些信息,采用特定的图像分析算法,确定目标对象各个时刻的专注度。可选地,目标对象的专注度可以百分数的方式表示。步骤402具体可以由第一终端中的控制器执行。
步骤403、确定与该专注度相关的目标对象的学习信息。
可选地,与该专注度相关的目标对象的学习信息可以包括:表示目标对象的专注度的数值,目标对象从开始学习到当前时刻之间各个时刻的专注度的数值,目标对象从开始学习到当前时刻整体的专注度情况的信息,目标对象的专注时长,目标对象的专注时段,目标对象的不专注时刻,以及目标对象不专注时的具体图像等信息中的一种或多种信息。
步骤404、向目标对象的监督设备发送该学习信息,以供该监督设备显示该学习信息。
本申请实施例中目标对象的监督设备可以为图1中的第二终端102。第一终端在确定与专注度相关的目标对象的学习信息后,可以向第二终端发送该学习信息。第二终端在接收到该学习信息后,第二终端中的控制器可以控制第二终端的显示屏显示该学习信息。可选地,第二终端可以直接用文字显示接收到的学习信息,或者也可以用图表或其他图案显示接收到的学习信息。示例地,若第二终端接收到的学习信息为目标对象各个时刻的专注度的数值,则第二终端可以直接显示该各个时刻的专注度的数值,或者第二终端也可以显示表征该各个时刻的专注度的专注度曲线或者柱状图。
第二终端的用户(如目标对象的家长)可以基于第二终端显示的该学习信息。如此,用户可以直接获知目标对象在学习过程中的学习状态,确定目标对象是否专注,而无需时刻观看目标对象的视频来自行判断目标对象的学习状态。可以减少用户对目标对象进行学习监督耗费的精力,且提高学习监督效果。
综上所述,本申请实施例提供的学习监督方法中,电子设备对目标对象在学习过程中的视频流进行分析,以确定学习过程中目标对象各个时刻的专注度,进而可以向目标对象的监督设备发送与该专注度相关的目标对象的学习信息,以供监督设备显示该学习信息。如此一来,家长在任意时刻观看监督设备,都可以获知孩子在此之前各个时刻是否在专心学习,无需持续实时地观看监督设备,简化了家长的监督过程,提高了对目标对象的学习过程的监督效果。
可选地,由于终端的数据处理能力通常较弱,本申请实施例中第一终端也可以通过服务器来辅助执行步骤402,此时步骤402可以由服务器中的中央处理单元执行。示例地,第一终端在采集目标对象的视频流后,可以将采集的视频流持续地发送向服务器。如第一终端中的控制器可以控制通信单元发送该视频流。相应地,服务器中的网络接口单元可以接收该视频流。进而,服务器可以对该视频流中目标对象的行为信息进行分析,确定学习过程中目标对象各个时刻的专注度。之后,服务器可以确定与该专注度相关的目标对象的学习信息,并向第二终端发送该学习信息,以供第二终端显示该学习信息,实现用户对目标对象的学习过程的监督。
图5是本申请实施例提供的另一种学习监督方法的流程图,该方法可以用于图1所示的学习监督系统。如图5所示,该方法可以包括:
步骤501、第一终端获取至少一项学习任务。
第一终端可以安装有学习监督应用程序。用户可以触发第一终端启动该应用程序,进而基于该应用程序在第一终端上制定一次学习过程中需完成的至少一项学习任务,如此第一终端可以获取到该至少一项学习任务。该第一终端的用户可以为需要被监督的目标对象,如学生或孩子。
学习监督系统中的第二终端也安装有该学习监督应用程序。第一终端和第二终端可以进行关联,以标记第一终端的用户为被监督的目标对象,第二终端的用户为目标对象的监督者,如老师或家长。如第一终端和第二终端中的学习监督应用程序均需登录相应的用户账号,可以通过对该用户账号进行关联,以实现对第一终端和第二终端的关联。可选地,第一终端也可以从第二终端获取至少一项学习任务。第二终端的用户可以触发第二终端启动该学习监督应用程序,进而基于该应用程序在第二终端上制定需要目标对象在一次学习过程中完成的至少一项学习任务。在学习任务制定完成后,第二终端可以通过服务器向第一终端发送该至少一项学习任务的信息,如此实现第一终端获取到该至少一项学习任务。
需要说明的是,步骤501具体可以由第一终端中的控制器执行。
步骤502、第一终端显示该至少一项学习任务的信息。
第一终端在获取到该至少一项学习任务后,可以显示该至少一项学习任务的信息,以供目标对象获知其需要完成的学习任务。示例地,图6是本申请实施例提供的一种第一终端的显示界面的示意图。如图6所示,第一终端获取的至少一项学习任务可以包括:语文预习20分钟,英语听写20分钟,语文作文20分钟,以及数学练习题20分钟这四项学习任务。第一终端可以显示该四项学习任务的信息。
需要说明的是,本申请实施例仅以第一终端获取到上述四项学习任务为例,第一终端获取的学习任务的项数以及具体的学习任务的内容均由用户自行灵活指定,如第一终端可以仅获取一项学习任务,本申请实施例不做限定。步骤502具体可以由第一终端中的显示屏执行,如由第一终端中的控制器控制该显示屏执行。
步骤503、第一终端在检测到针对该至少一项学习任务中任一项学习任务的触发操作后,确定接收到开始学习指令。
本申请实施例以该至少一项学习任务包括多项学习任务为例。请继续参考图6,第一终端在显示该多项学习任务的信息时,还可以显示每项学习任务对应的开始控件K。目标对象可以在开始执行每一项学习任务时,点击该项学习任务对应的开始控件K。目标对象对任一项学习任务对应的开始控件K的点击操作,可以为针对该项学习任务的触发操作。进而,第一终端可以确定目标对象开始执行该项学习任务。第一终端在检测到针对任一项学习任务对应的开始控件K的点击操作后,可以确定接收到开始学习指令,进而确定目标对象开始学习。
可选地,图7是本申请实施例提供的另一种第一终端的显示界面的示意图。如图7所示,第一终端在显示该多项学习任务的信息时,可以仅显示一个开始学习控件。目标对象在开始学习时可以点击该开始学习控件,进而第一终端可以接收到开始学习指令,确定目标对象开始学习。目标对象对该开始学习控件的点击操作可以为对学习任务的触发操作。可选地,该种方式中该多项学习任务可以对应有指定的执行顺序,该执行顺序可以由第一终端在获取该多项学习任务的时候一并获取。目标对象可以按照该执行顺序执行该多项学习任务。目标对象在点击该开始学习控件后,第一终端可以确定目标对象开始执行该至少一项学习任务中的第一项学习任务。
可选地,第一终端接收到开始学习指令后,还可以向服务器发送触发指令,以告知服务器目标对象开始学习,以及服务器目标对象开始学习的时间,该时间也即是第一终端接收到开始学习指令的时间。可选地,第一终端在接收端到开始学习指令后可以开始计时,以记录目标对象的学习总时长。需要说明的是,步骤503具体可以由第一终端中的控制器执行。
步骤504、第一终端基于开始学习指令,采集目标对象的视频流。
第一终端在接收到开始学习指令后,可以启动摄像功能,如第一终端中的摄像头可以开始工作,以采集目标对象的视频流。可选地,第一终端在开始采集视频后,可以先检测采集的视频中是否存在目标对象的影像。若第一终端未在采集的视频中检测到目标对象,则可以发出提醒信息,以提醒目标对象调整第一终端的视频采集方向或调整目标对象的所在位置,以使目标对象位于第一终端的视频采集范围中。示例地,第一终端的扬声器可以发出语音形式的提醒信息,或者第一终端的显示屏可以显示文字形式的提醒信息。
需要说明的是,步骤504具体可以由第一终端中的摄像头执行,如由第一终端中的控制器控制该摄像头执行。
步骤505、第一终端确定该视频流中目标对象的行为信息中各种信息的参数值。
第一终端可以提取采集的视频流中目标对象所在区域的信息,进而基于该区域的信息确定目标对象的行为信息。目标对象的行为信息可以包括目标对象的动作、姿势以及表情等。示例地,服务器可以基于视频流中目标对象的视线方向,确定目标对象是否在观看书本;还可以确定目标对象的头部转动方向,以确定目标对象是否在东张西望;还可以确定目标对象的坐姿是否端正,目标对象的眼睛距离桌面的距离;以及可以确定目标对象的表情是生气,不安,皱眉,高兴,忧伤,惊喜,或平静等。
本申请实施例中,目标对象的行为信息可以包括:面部表情信息、坐姿信息、头部姿态信息、眼睛开合状态信息以及肢体姿态信息中的至少两种信息。第一终端可以基于视频流中的多帧图像,确定目标对象的每种行为信息。第一终端每次确定行为信息所基于的多帧图像,均可以为该次确定行为信息的时刻之前一段时间中的多帧图像。
对于面部表情信息,其参数值可以包括:预先设定的多类表情中每类表情在视频流的多帧图像中出现的次数。该多类表情可以包括高兴、自然、惊讶、生气、害怕、厌恶以及伤心中的多种。第一终端可以将每帧图像输入表情识别模型,得到表情识别模型输出的图像中的面部表情在该多类表情中所属的类型。其中,该表情识别模型可以是第一终端基于多个表情样本数据确定的。每个表情样本数据可以包括:图像样本,以及该图像样本中的面部表情的类型。可选地,对于每帧图像,第一终端也可以从该图像中提取出能够反映目标对象的面部表情的类型的多个面部特征点(例如眼睛所在区域的特征点、眉毛所在区域的特征点以及嘴巴所在区域的特征点),并基于该多个面部特征点确定该图像中面部表情所属的类型。之后,第一终端可以统计多帧图像中各类表情的出现次数,以得到面部表情信息的参数值。
例如,第一终端将采集到的三十帧图像按照采集时刻的先后顺序,依次输入表情识别模型后,得到第一帧图像中面部表情的类型至第二十帧图像中面部表情的类型均为高兴,第二十一帧图像中面部表情的类型至第三十帧图像中面部表情的类型均为自然。则第一终端可以统计得到面部表情信息的参数值包括:高兴的表情的出现次数为20,自然的表情的出现次数为10,其他表情的出现次数均为0。
对于头部姿态信息,第一终端可以确定多帧图像中目标对象的头部绕第一轴线的转动角度值的第一平均值,目标对象的头部绕第二轴线的转动角度值的第二平均值,以及目标对象的头部绕第三轴线的转动角度值的第三平均值。之后,第一终端可以基于第一平均值、第二平均值和第三平均值,确定目标对象的头部姿态的参数值。示例地,头部姿态的参数值可以直接包括该第一平均值、第二平均值和第三平均值。或者,该头部姿态的参数值可以为第一平均值、第二平均值和第三平均值的加权平均值。
其中,第一轴线、第二轴线和第三轴线两两垂直。例如,第一轴线的延伸方向可以平行于目标对象的高度延伸方向,第二轴线的延伸方向可以平行于该目标对象的宽度延伸方向,第三轴线的延伸方向可以平行于目标对象的厚度延伸方向。假设目标对象为人体,则该第一转动角度可以是指人体左右转头的角度,第二转动角度可以为人体抬头的角度或低头的角度,第三转动角度可以是指人体左右歪头的角度。为了便于描述,下面将绕第一轴线的转动角度值称为第一转动角度,将绕第二轴线的转动角度值称为第二转动角度,将绕第三轴线的转动角度值称为第三转动角度。对于每帧图像,第一终端可以确定该图像中目标对象的第一转动角度,第二转动角度以及第三转动角度。之后,第一终端可以将多个第一转动角度的平均值确定为第一平均值,将多个第二转动角度的平均值确定为第二平均值,并将多个第三转动角度的平均值确定为第三平均值。
图8是本申请实施例提供的一种将图像映射至三维坐标系中的示意图。如图8所示,第一终端可以将该图像中的目标对象的头部映射至三维坐标系中,即建立该头部的三维模型。该三维坐标系可以是目标对象的头部的参考模型所在的坐标系。该参考模型可以是第一终端基于参考图像确定的,该参考图像中目标对象的头部未转动。其中,该三维坐标系的原点可以为参考图像中目标对象的头部的中心点O,X轴正方向可以以该参考图像中像素列的延伸方向的反方向,Y轴正方向可以为参考图像中像素行的延伸方向。之后,第一终端可以确定该三维模型中,标记点和原点的连线与X轴的第一夹角,该连线与Y轴的第二夹角,以及该连线与Z轴的第三夹角。第一终端可以将第一夹角的角度值与第一参考夹角的角度值的差值确定为第一转动角度,将第二夹角的角度值与第二参考夹角的角度值的差值确定为第二转动角度,并将第三夹角的角度值与第三参考角度的角度值的差值确定为第三转动角度。其中,第一参考夹角为参考模型中,标记点和原点的连线与X轴的夹角。第二参考夹角为参考模型中,标记点和原点的连线与Y轴的夹角。第三参考夹角为参考模型中,标记点和原点的连线与Z轴的夹角。可选地,该标记点可以目标对象的脸部的一点。例如,该标记点可以为鼻子上的一点,如为鼻尖的一点。或者,该标记点可以为眼部的一点,本申请实施例对此不做限定。
对于头部姿态的参数值为第一平均值、第二平均值和第三平均值的加权平均值的情况:第一终端中可以存储有第一平均值、第二平均值和第三平均值中的每个平均值的权重。之后,第一终端可以将第一平均值至第三平均值中每个平均值与对应的权重相乘,得到三个乘积,并将该三个乘积之和的平均值确定为目标对象的头部姿态的参数值。
可选地,第一终端在得到第一平均值,第二平均值和第三平均值后,可以先对该第一平均值至第三平均值分别进行归一化处理。之后,第一终端可以基于归一化处理后的第一平均值,归一化处理后的第二平均值,以及归一化处理后的第三平均值,确定目标对象的头部姿态的参数值。例如,目标对象的头部姿态的参数值包括:归一化处理后的第一平均值,归一化处理后的第二平均值,以及归一化处理后的第三平均值。或者,目标对象的头部姿态的参数值可以为归一化处理后的第一平均值,归一化处理后的第二平均值,以及归一化处理后的第三平均值的加权平均值。
其中,归一化处理后的第一平均值h1满足公式h1=1-N/a。N为第一平均值,a为头部绕第一轴线转动的最大转动角度值。且第一终端可以预先存储有a,例如,存储的a为80°(度)。归一化处理后的第二平均值h2满足公式h2=1-P/b。P为第二平均值,b为头部绕第二轴线转动的最大转动角度值。且第一终端可以预先存储有b,例如,存储的b为70°。归一化处理后的第三平均值h3满足公式h3=1-Q/c。Q为第三平均值,c为头部绕第三轴线转动的最大转动角度值。且第一终端可以预先存储有c,例如,存储的c为60°。归一化处理后的第一平均值,归一化处理后的第二平均值,以及归一化处理后的第三平均值处于同一数量级。因此,第一终端采用基于归一化处理后的平均值(即前文所述的第一平均值至第三平均值)确定的头部姿态的参数值,确定目标对象的专注度,可以确保该专注度的准确性。
示例的,假设a=80°,b=70°,c=60°,第一终端确定的目标对象的第一平均值为0°,第二平均值为5°,第三平均值为10°,则归一化处理后的第一平均值h1=1-0°/80°=1,归一化处理后的第二平均值h2=1-5°/70°=13/14,归一化处理后的第三平均值h3=1-10°/60°=5/6。假设头部姿态的参数值为归一化处理后的第一平均值至第三平均值的加权平均值,且第一平均角度的权重为89,第二平均角度的权重为92,第三平均角度的权重为95,则第一终端确定的头部姿态的参数值T=AVG[89*1,92*(13/14),95*(5/6)]=84.5。其中,AVG为平均函数,89*1表示89乘以1。
对于肢体姿态信息,第一终端可以将视频流的多帧图像中每帧图像输入预先训练得到的肢体姿态识别模型,从而得到肢体姿态识别模型输出的该图像的识别结果。其中,每帧图像的识别结果可以用于指示目标对象在该图像中的肢体姿态的类型。肢体姿态的类型可以为下述类型中的一种:托腮、挠头、趴桌子、转笔、写字以及端坐。该肢体姿态识别模型可以是第一终端基于多个肢体姿态样本数据确定的。每个肢体姿态样本数据可以包括:图像样本,以及该图像样本中的肢体姿态的类型。第一终端可以将该多帧图像中出现最多的肢体姿态类型对应的特征向量,确定为目标对象的肢体姿态信息的参数值。第一终端可以预先存储肢体姿态的类型与特征向量的对应关系。第一终端可以确定多帧图像的识别结果中出现次数最多的肢体姿态的类型,进而将该肢体姿态的类型对应的特征向量确定为目标对象的肢体姿态的参数值。
可选的,肢体姿态的多种类型对应的特征向量可以是对该多种类型进行独热(one-hot)编码后得到的。且独热编码后得到的特征向量的维数(即长度),与肢体姿态的类型的总数相等。该特征向量由二进制数0和1组成,且仅包括一个1。例如,若肢体姿态的类型的总数为N,则对肢体姿态的类型进行独热编码后得到的特征向量的维数为N。N为大于等于2的整数。可以理解的是,在对肢体姿态的多种类型进行独热编码前,第一终端可以设置该多种类型的排列顺序。之后,第一终端可以对排列顺序设置后的多种类型进行独热编码。需要说明的是,若肢体姿态的多种类型的排列顺序变化,则每个类型对应的特征向量也会随之发生变化。
例如,若多种类型依次为托腮、挠头、趴桌子、转笔、写字以及端坐,则对该多种类型进行独热编码后得到的每种类型对应的特征向量可以如表1所示。从表1中可以看出,若肢体姿态的类型为托腮,则对应的特征向量为[1,0,0,0,0,0]。若肢体姿态的类型为转笔,则对应的特征向量为[0,0,0,1,0,0]。若肢体姿态的类型为端坐,则对应的特征向量为[0,0,0,0,0,1]。
表1
肢体姿态的类型 特征向量
托腮 [1,0,0,0,0,0]
挠头 [0,1,0,0,0,0]
趴桌子 [0,0,1,0,0,0]
转笔 [0,0,0,1,0,0]
写字 [0,0,0,0,1,0]
端坐 [0,0,0,0,0,1]
可选地,肢体姿态的参数值可以为目标数值,该目标数值可以基于前文所述的多帧图像中出现次数最多的肢体姿态类型确定。例如,第一终端可以基于类型与数值的对应关系,将出现次数最多的肢体姿态类型对应的数值确定为目标数值。示例的,类型与数值的对应关系中记录的托腮对应的数值可以为100000,挠头对应的数值可以为10000,趴桌子对应的数值可以为1000,转笔对应的数值可以为100,写字对应的数值可以为10,端坐对应的数值可以为1。
对于眼睛开合状态信息,目标对象的眼睛开合度的参数值可以包括:眼睛子图像的长宽比,和/或,眼睛子图像中瞳孔的面积占比的参数值。例如,眼睛开合度的参数值可以为眼睛子图像的长宽比的参数值,或者可以为眼睛子图像中瞳孔的面积占比的参数值,又或者眼睛开合度的参数值可以为包括:眼睛子图像的长宽比的参数值,以及眼睛子图像中瞳孔的面积占比的参数值。其中,该眼睛子图像的长宽比的参数值可以为多帧图像中眼睛子图像的长宽比的比值的平均值,或多帧图像中眼睛子图像的长宽比的比值中出现次数最多的比值。该眼睛子图像中瞳孔的面积占比的参数值可以为多帧图像中眼睛子图像中瞳孔的面积占比的比值的平均值,或多帧图像中眼睛子图像中瞳孔的面积占比的比值中出现次数最多的比值。
示例地,对于多帧图像中的每帧图像,第一终端可以先确定该图像中的眼部子图像,并将眼部子图像中包括的像素个数最多的像素行确定为目标像素行,将眼部子图像中包括的像素个数最多的像素列确定为目标像素列。然后,第一终端可以将目标像素行包括的第一像素总数,与目标像素列包括的第二像素总数的比值确定为该图像中的眼部子图像的长宽比的比值。第一终端还可以确定眼部子图像中瞳孔所在区域包括的第三像素总数。然后,第一终端可以将该第三像素总数与眼部子图像包括的所有像素的个数的比值,确定为眼部子图像中瞳孔的面积占比的比值。之后,第一终端可以从多帧图像中的眼部子图像的长宽比的比值中,统计得到出现次数最多的比值。并且,第一终端可以从多帧图像中的眼部子图像中瞳孔的面积占比的比值中,统计得到出现次数最多的比值。由此,即可得到眼睛开合度的参数值。
通常眼睛的瞳孔的颜色较眼白的颜色深。基于此,第一终端在得到眼部子图像后,可以从眼部子图像中筛选出像素值小于第一像素值阈值的像素(即瞳孔中的像素),并统计该像素的个数,从而得到该第三像素总数。其中,该第一像素值可以为第一终端中预先存储的。
可选的,在统计像素值小于像素值阈值的像素之前,第一终端可以对该眼部子图像进行二值化处理,得到二值化后的眼部子图像。之后,第一终端可以从二值化后的眼部子图像中筛选得到像素值小于第二像素值阈值的像素,并统计该像素的个数。其中,第二像素值阈值可以是第一终端中预先存储的。例如,该第二像素值阈值可以为1。由于第一终端可以对眼部子图像进行二值化处理,因此可以降低第一终端的计算复杂度,从而提高从眼部子图像中筛选得到瞳孔包括的像素的个数的效率。
可选地,对于图像中包括两只眼睛的场景,该图像中的眼部子图像的长宽比的比值可以为左眼子图像的长宽比的比值,与右眼子图像的长宽比的比值的平均值。该图像中眼部子图像中瞳孔的面积占比的比值可以为左眼子图像中瞳孔的面积占比的比值,与右眼子图像中瞳孔的面积占比的比值的平均值。
在本申请实施例中,对于每帧图像,第一终端可以对该图像进行关键点识别,从而得到目标对象的脸部的多个关键点。该多个关键点包括:眼睛关键点,该眼睛关键点可以位于图像中眼睛的眼眶上。之后,第一终端可以将该眼睛关键点的连线所围成的区域中的图像确定为眼部子图像。可选的,该多个关键点还包括:眉毛关键点,鼻梁关键点,嘴巴关键点,以及脸部轮廓关键点。该眉毛关键点可以位于图像中的眉毛上。鼻梁关键点可以位于图像中的鼻梁上。嘴巴关键点可以位于图像中的嘴巴上。可选的,第一终端可以将每帧图像输入预先训练的人脸关键点检测模型中,从而得到目标对象的脸部的多个关键点。
示例的,假设第一终端对某一图像进行关键点识别后,得到图9所示的68个关键点。参见图9,图9中关键点37至关键点42即为目标对象的右眼的眼睛关键点。关键点43至关键点48可以为目标对象的左眼的眼睛关键点。相应的,第一终端可以将从关键点37开始,依次连接关键点38,关键点39,…,关键点42,直至再次连接关键点37的连接线所围成的区域中的图像,确定为该图像的右眼子图像。并且,第一终端可以将从关键点43开始,依次连接关键点44,关键点45,…,关键点48,直至再次连接关键点43的连接线所围成的区域中的图像,确定为该图像的左眼子图像。并且,从图9还可以看出,多个关键点中的关键点18至关键点27为眉毛关键点,关键点28至关键点31为鼻梁关键点,关键点1至关键17为脸部轮廓关键点。关键点49中关键点68为嘴巴关键点。
步骤506、第一终端将该各种信息的参数值的加权和,确定为目标对象的专注度。
服务器在确定目标对象的上述信息后,可以基于该信息确定目标对象的专注度。第一终端可以持续对最新接收的视频流进行分析,以确定目标对象各个时刻的专注度。可选地,目标对象的专注度可以百分数的方式表示。第一终端可以获取每种信息的权重。第一终端可以将每种信息的参数值,与该专注度参数的权重相乘,以得到多个乘积。之后,第一终端可以将多个乘积之和确定为目标对象的专注度。由于第一终端在确定目标对象的专注度时,还可以考量各种信息对专注度的影响,因此可以确保确定的专注度的准确性。
其中,每种信息的权重,以及每个子参数的权重均可以是工作人员基于经验确定,并预先写入第一终端的。例如,每种信息的权重可以是基于该专注度参数对专注度的影响程度确定的。每种信息的权重可以是第一终端采用层次分析法对该多种信息进行处理得到的。
在本申请实施例中,第一终端采用层次分析法对多种信息进行处理,以确定每种信息的权重的过程可以如下所述:
第一终端可以基于M种信息中第i种信息ui相较于第j种信息ui对专注度的重要程度,生成判断矩阵H。i和j均为小于等于M的正整数,即判断矩阵H可以为M行M列的矩阵。判断矩阵H的第i行第j列的元素用于表征M种信息中第i种信息ui相较于第j种信息ui对专注度的重要程度。
之后,第一终端能够计算判断矩阵H的每一行元素的乘积,分别对判断矩阵中每一行元素的乘积进行开方运算,并对开方运算后的每一行元素的乘积进行归一化处理,得到M种信息中每种信息的权重。其中,M种信息中第i种信息的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值。第一终端先对第i行元素的乘积进行开M次方运算。
在本申请实施例中,第一终端可以基于第i种信息ui和第j种信息uj所对应的多个样本数据,确定第i种信息ui相较于第j种信息uj对专注度的重要程度。第i种信息ui和第j种信息uj所对应的多个样本数据中,每个样本数据均可以包括:M种信息的参数值以及对应的专注度。并且,任意两个样本数据中的第i种信息ui的参数值,和/或,第j种信息的uj参数值不同,M种信息中除第i种信息ui和第j种信息uj之外的专注度参数的参数值相同。例如,头部姿态和眼睛开合度所对应的多个样本数据中,任意两个样本数据中头部姿态的参数值,和/或,眼睛开合度的参数值不同,不同类型的面部表情的出现次数的参数值均相同,且肢体姿态的参数值也均相同。
在本申请实施例中,第一终端在得到M种信息中,每两种信息中一种信息相较于另一种信息对于专注度的重要程度后,可以能够参考表2确定判断矩阵H。从表2可以看出,若对于专注度而言,信息ui比信息uj稍微重要,则判断矩阵中的第i行第j列的元素即为3,第j行第i列的元素为3的倒数,即1/3。若对于专注度而言,信息ui比信息uj极端重要,则判断矩阵中第i行第j列的元素即为9,第j行第i列的元素为9的倒数,即1/9。
表2
标度 含义
1 表示第i种信息u<sub>i</sub>与第j种信息u<sub>j</sub>同等重要性
3 表示第i种信息u<sub>i</sub>比第j种信息u<sub>j</sub>稍微重要
5 表示第i种信息u<sub>i</sub>比第j种信息u<sub>j</sub>明显重要
7 表示第i种信息u<sub>i</sub>比第j种信息u<sub>j</sub>强烈重要
9 表示第i种信息u<sub>i</sub>比第j种信息u<sub>j</sub>极端重要
2,4,6,8 2,4,6,8分别表示相邻判断1-3、3-5、5-7、7-9的中值
倒数 表示表示第i种信息u<sub>i</sub>与第j种信息u<sub>j</sub>比较得到的倒数
示例的,假设对于专注度而言,第一终端确定的不同类型的面部表情的出现次数、头部姿态、眼睛开合度和肢体姿态等四种信息中,第i种信息相较于第j个种信息的重要程度如表3所示。从表3可以看出,对于专注度而言,头部姿态比不同类型的面部表情的出现次数的重要程度位于同等重要与稍微重要之间。眼睛开合度比不同类型的面部表情的出现次数重要程度位于稍微重要和明显重要之间。肢体姿态比不同类型的面部表情的出现次数的重要程度位于同等重要与稍微重要之间。眼睛开合度比头部姿态的重要程度为稍微重要。肢体姿态与头部姿态同等重要。眼睛开合度比肢体姿态的重要程度为稍微重要。
表3
Figure BDA0003437463320000191
Figure BDA0003437463320000201
结合表1,即可得到判断矩阵
Figure BDA0003437463320000202
之后第一终端可以计算判断矩阵H中的每一行元素的乘积,并对每个乘积进行开四次方运算,之后对开方运算后的乘积进行归一化处理,从而得到特征向量:
W=[W1,W2,W3,W3]T=[0.105115,0.189664,0.514959,0.189664]T
即,不同类型的面部表情的出现次数的权重为0.105115,头部姿态和肢体姿态对应的权重均为0.189664,眼睛开合度的权重为0.514959。
以每种信息对应的权重是第一终端预先存储的为例,对第一终端确定目标对象的专注度的过程进行示例性说明:
参见表4,表4示出了一种第一终端存储的各种信息的权重,以及每种信息中的各个子参数的权重。从表4中可以看出,不同类型的面部表情的出现次数的权重w1为0.1,头部姿态的权重w2为0.2,眼睛开合度的权重w3为0.5,肢体姿态的权重w4为0.2。类型为高兴的权重w11为3.16。类型为伤心的权重w17为1.12。第一平均角度的权重w21为89。第三平均角度的权重w23为95。眼部子图像的长宽比的权重w31为6.2。类型为托腮的权重w41为90。类型为端坐的权重w46为92。
表4
Figure BDA0003437463320000203
Figure BDA0003437463320000211
假设第一终端基于多帧图像,统计得到类型为高兴的面部表情的出现次数为20,类型为自然的面部表情的出现次数为10,第一平均值为0°,第二平均值为5°,第三平均值为10°,眼部子图像的目标长宽比的比值为1.8,眼部子图像中瞳孔的目标占比的比值为0.7,肢体姿态的目标类型为端坐,即肢体姿态的参数值为[0,0,0,0,0,1]。假设头部姿态的参数值为归一化处理后的第一平均值至第三平均值的加权平均值,则第一终端可以确定目标对象的专注度Z即为:
Z=(3.16*10+2.95*20)*0.1]+AVG[89*(1-0/80),92*(1-5/70),95*(1-10/60)]*0.2+(1.8*6.2+0.7*3.8)*0.5+(90*0+80*0+85*0+89*0+96*0+92*1)*0.2=51.21。
需要说明的是,步骤505和步骤506具体可以由第一终端中的控制器执行。可选地,步骤505和步骤506也可以由服务器执行。第一终端可以向服务器发送采集的视频流,以供服务器执行步骤505和步骤506。第一终端采集视频流,实际是连续采集图像,对采集的图像进行编码生成视频流。示例地,终端可以在采集到多帧图像后,对该多帧图像进行编码生成包括该多帧图像的子视频流,并向服务器发送该子视频流。该多帧图像的帧数基于采用的图像编码方式决定。第一终端在接收到开始学习指令后可以持续进行该采集图像、生成子视频流和发送子视频流的过程,以实现向服务器实时向服务器发送视频流。第一终端向服务器实时发送视频流的过程相当于第一终端向服务器周期性地发送最新生成的子视频流的过程。
步骤507、第一终端基于该专注度,确定与该专注度相关的目标对象的学习信息。
第一终端在确定目标对象的专注度后,可以基于该专注度确定目标对象的学习信息。示例地,该学习信息可以包括:第一终端最新确定的表示目标对象的专注度的数值(也即上述百分数),目标对象从开始学习到当前时刻之间各个时刻的专注度的数值,目标对象从开始学习到当前时刻整体的专注度情况的信息,目标对象的专注时长,目标对象的专注时段,目标对象的不专注时刻,以及目标对象不专注时的具体图像等信息中的一种或多种信息。
其中,目标对象的专注时长可以为第一终端接收到开始学习指令后,目标对象的专注度高于第一专注度阈值的时长。专注时段可以为目标对象的专注度持续高于第一专注度阈值的时段,专注时段中的每个时刻目标对象的专注度均高于第一专注度阈值。可选地,第一终端在接收到开始学习指令后,还可以记录对开始学习指令的接收时刻的信息,以获知目标对象开始学习的时刻。可选地,当步骤505与步骤506由服务器执行时,第一终端可以向服务器发送该接收时刻的信息,该信息可以与第一终端采集的视频流同步发送,或者也可以单独发送,或者该视频流的起始时刻即为该开始学习指令的接收时刻。
第一终端可以基于目标目标对象的专注时长以及专注时段中的至少一种信息,以及目标对象的学习总时长,确定目标对象从开始学习到当前时刻整体的专注度情况。该学习总时长为第一终端接收到开始学习指令的时刻至当前时刻之间的时长。可选地,该专注度情况可以用目标对象的专注等级来表示,不同的专注等级表示的专注情况均不同。如该专注等级从低到高依次可以为差、中、良和优。目标对象的专注等级的高低正相关于目标对象的专注时长,负相关于该学习总时长。如该专注等级可以基于目标对象的专注时长与学习总时长的比值确定。该比值小于第一阈值时对应的专注等级为差,该比值处于第一阈值和第二阈值之间时对应的专注等级为中,该比值处于第二阈值和第三阈值之间时对应的专注等级为良,该比值大于第三阈值时对应的专注等级为优。第一阈值、第二阈值和第三阈值依次增大。
第一终端可以在目标对象的专注度低于第二专注度阈值时,确定目标对象不专注,并将目标对象不专注的信息以及目标对象不专注的时刻作为学习信息。可选地,第二专注度阈值可以小于或等于第一专注度阈值。第一终端还可以在确定目标对象不专注时,从采集的视频流中提取目标对象不专注的时刻目标对象的图像,将该图像也作为学习信息。
需要说明的是,学习信息的具体内容可以由学习监督应用程序的开发人员在开发的时候设定,或者也可以由用户自行设定或更改,本申请实施例不做限定。步骤507具体可以由第一终端中的控制器执行。可选地,在步骤505与步骤506由服务器执行时,步骤507也可以由服务器执行,本申请实施例不做限定。
步骤508、第一终端向第二终端发送该学习信息。
第一终端在基于目标对象的专注度,确定学习信息后,可以向第二终端发送该学习信息。具体地,步骤508可以由第一终端中的通信单元执行,以将该学习信息发送至第二终端。相应地,第二终端中的通信单元可以接收该学习信息。如第一终端可以通过服务器向第二终端转发该学习信息。可选地,在步骤505至507由服务器执行时,步骤508也可以由服务器执行,本申请实施例不做限定。
步骤509、第二终端显示该学习信息。
第二终端在接收到第一终端发送的学习信息后,可以显示该学习信息,以便于第二终端的用户基于该学习信息获知目标对象的学习状态。
示例地,学习信息包括专注时段的信息。图10是本申请实施例提供的一种第二终端的显示界面的示意图。第二终端可以通过图10所示的方式显示该专注时段的信息。如图10所示,第二终端可以显示表征目标对象的学习过程(也即是学习历程)的进度条J,该进度条的起点对应第一终端对开始学习指令的接收时刻,如该接收时刻为7:10。第二终端在接收到第一终端发送的专注时段的信息后,可以在该进度条中显示专注时段对应的标记段b,标记段b用于表征该专注时段的信息。可选地,该标记时段的长度与对应的专注时段的时长正相关。可选地,该标记段可以采用指定形式显示。如该标记段的颜色可以为指定颜色,标记段的形状可以为波浪形、矩形或者其它形状。可选地,每个专注时段b的起点和终点处也可以均显示对应的时间,或者也可以不显示对应的时间,图10以不显示该时间为例进行示意。
可选地,学习信息还可以包括专注时长的信息。第二终端可以直接通过文字的方式显示专注时长的信息。如图10所示,第二终端可以直接显示“专注时长:50分钟”,以表示目标对象在开始学习后总共专注的时长为50分钟。可选地,学习信息还可以包括目标对象不专注的时刻及该时刻目标对象的图像。示例地,第二终端可以在该进度条中显示目标对象不专注的时刻对应的标记点d。第二终端还可以显示标记点d对应的时刻目标对象的图像X。可选地,第二终端可以在检测到针对标记点d的触发操作后,再显示该标记点对应的时刻目标对象的图像X(图10以此种方式为例);或者第二终端也可以直接显示各个标记点d对应的时刻目标对象的图像X。可选地,进度条中各个标记点处还可以显示对应的时刻的信息。
可选地,请继续参考图10,进度条的终点对应当前时刻,终端处可以显示当前时间,第二终端在任一时刻显示的进度条仅表示学习过程中已经进行的时段。该进度条随着时间的推移持续更新,直至目标对象的本次学习结束。又可选地,第二终端在开始显示该进度条后,便可以依据目标对象待完成的各项学习任务,预估学习结束时间,进而在进度条的终点处显示预估的该学习结束时间。该预估的学习结束时间可以基于目标对象的实际学习时间进行更新。或者,在目标对象学习结束之前,第二终端中的进度条的终点处也可以并不显示时间。
需要说明的是,图5以仅第二终端显示该学习信息为例。步骤509具体可以由第二终端的显示屏执行,如由第二终端的控制器控制显示屏执行。
可选地,第一终端也可以显示该学习信息。第一终端对该学习信息的显示方式可以参考上述第二终端对该相关信息的显示方式,本申请实施例不再赘述。可选地,第一终端显示的学习信息可以包括:专注时长的信息和专注等级的信息,而不包括专注时段的信息,也不包括不专注的时刻的信息。图11是本申请实施例提供的再一种第一终端的显示界面的示意图。如图11所示,第一终端可以通过文字的形式显示该专注时长的信息和专注等级的信息。
步骤510、第一终端在确定目标对象不满足目标条件的持续时长大于或等于时长阈值时,发出提示消息,该提示消息用于提示目标对象调整状态以满足目标条件。
其中,该目标条件包括:专注度高于或等于第二专注度阈值,或姿势与标准姿势的相似度小于相似度阈值。本申请实施例中,第一终端还可以基于接收到的视频流或者目标对象各个时刻的专注度,确定目标对象是否满足目标条件,也即确定目标对象是否专注,以及目标对象是否出现坐姿问题。第一终端在确定目标对象不专注或者出现坐姿问题时,均可以发出提示消息。
示例地,目标对象的专注度高于或等于第二专注度阈值,则认为目标对象专注;目标对象的专注度低于第二专注度阈值,则认为目标对象当前不专注。服务器可以直接将步骤506中确定的专注度与该第二专注度阈值进行比较,以确定目标对象是否专注。目标对象的姿势与标准姿势的相似度大于或等于相似度阈值,则认为目标对象的坐姿标准;目标对象的姿势与标准姿势的相似度小于相似度阈值,则认为目标对象出现坐姿问题。又示例地,第一终端可以将视频流中每帧图像中目标对象的姿势与标准姿势进行比对,以确定目标对象的姿势与标准姿势的相似度。可选地,第一终端也可以仅针对视频流中部分帧图像中目标对象的姿势进行比对。如第一终端可以每隔一定数量帧图像抓取一帧图像,进而对该帧图像中目标对象的姿势与标准姿势进行比对。
第一终端基于目标对象的视频流持续检测目标对象各个时刻是否满足目标条件。第一终端在某一时刻确定目标对象不满足目标条件后可以开始计时,在确定目标对象满足目标条件时停止该次计时。如此,若第一终端的计时时长大于或等于时长阈值,则第一终端可以确定目标对象不满足目标条件的持续时长已大于或等于时长阈值,目标对象已较长时间不专注或者姿势出现问题。进而第一终端可以提示目标对象专注或改善姿势。可选地,第一终端也可以在确定目标对象满足目标条件的持续时长大于指定时长时才停止计时,该时长阈值大于该指定时长。如此,目标对象在一段时间中多次较长时间的持续不满足目标条件,仅间断性的短时间满足目标条件,则第一终端提示目标对象专注或改善姿势。例如,该时长阈值为两分钟,或者也可以为一分钟或其他时长;该指定时长可以为10秒,20秒或者其他时长,本申请实施例不做限定。
可选地,第一终端可以在该计时时长大于或等于时长阈值时重新开始计时,直至目标对象满足目标条件或者计时时长再次达到时长阈值。如此,第一终端相邻两次发出提示消息的时间间隔大于或等于时长阈值。若目标对象在一段时间中持续不满足目标条件,则第一终端每隔时长阈值发出一次提示消息。如此第一终端无需在目标对象不满足目标条件时,持续向目标对象发送提示信息,对目标对象进行提醒的基础上,保证了目标对象的使用体验。
可选地,第一终端也可以在首次确定目标对象不满足目标条件时,便发出提示消息。或者,也可以在连续目标次确定目标对象不满足目标条件时,再发出提示消息。
第一终端发出的提示消息可以指示目标对象存在的问题为不专注还是坐姿问题。可选地,提示消息还可以指示目标对象存在的问题的具体情况。如不专注的情况严重还是轻微;坐姿问题是眼睛距离书本太近,腰背弯曲,身体倾斜或者其他问题。第一终端可以确定目标对象存在的问题,进而发出该问题对应的提示消息。示例地,若在步骤510中第一终端确定目标对象不专注进而向第一终端发送提示指令,则第一终端可以基于提示目标对象专注学习。若在步骤510中第一终端确定目标对象出现坐姿问题,则第一终端提示目标对象端正坐姿。
可选地,第一终端可以通过扬声器发出语音形式的提示消息,或者也可以通过显示屏显示文字形式的提示消息,或者也可以同时发出语音形式的提示消息以及显示文字形式的提示消息。如该提示消息可以为“当前注意力不集中,请集中注意力”,或者“当前眼睛距离书本太近,请与书本保持30-35厘米的距离”,或者“请挺直腰背”,或者“请坐端正”等。
可选地,若步骤505至步骤508均由服务器执行,则步骤510中可以由服务器确定目标对象是否专注以及是否出现坐姿问题。若服务器确定目标对象不专注,则向第一终端发送不专注对应的提示指令;若服务器确定目标对象出现坐姿问题,则向第一终端发送坐姿问题对应的提示指令;若服务器确定目标对象同时出现不专注以及坐姿问题,则向第一终端发送不专注对应的提示指令和坐姿问题对应的提示指令。第一终端基于接收的提示指令发出提示消息。此时,步骤510具体可以由服务器中的中央处理单元确定目标对象是否满足目标条件,以及确定目标对象不满足目标条件的时长是否大于或等于时长阈值。且由服务器中的网络接口单元向第一终端发送提示指令,如可以由中央处理单元控制该网络接口单元向第一终端发送提示指令。相应地,第一终端中的通信单元可以接收该提示指令。
步骤511、第一终端发出提示消息时,向第二终端发送提醒通知。
第一终端每次发出提示时,均可以同步向第二终端发送提醒通知。该提醒通知用于指示:目标对象不满足目标条件,以及目标对象不满足目标条件的时刻。可选地,该提醒通知还可以指示目标对象具体存在的问题为不专注还是坐姿问题。
需要说明的是,步骤511具体可以由第一终端中的通信单元向第二终端发送提醒通知,如可以由控制器控制该通信单元向第二终端发送提醒通知。相应地,第二终端中的通信单元可以接收该提醒通知。如第一终端可以通过服务器向第二终端发送该提醒通知。
步骤512、第二终端显示提醒通知对应的标识。
第二终端在接收到服务器发送的提醒通知后,均可以显示该提醒通知对应的标识。示例地,请继续参考图10,第二终端可以在表征目标对象的学习过程的进度条中,显示提醒通知对应的标识。如每个提醒通知对应的标识为该提醒通知指示的时刻的标记点d。上述步骤509中以目标对象不专注的时刻进度条中的标记点d为例,可选地,目标对象出现坐姿问题的时刻也可以对应进度条中的标记点。可选地,第二终端也可以在该进度条之外显示其他的图案,作为提醒通知对应的标识。
需要说明的是,步骤512可以由第二终端中的显示屏执行,如该显示屏在控制器的控制下执行。
步骤513、第二终端在检测到针对提醒通知对应的标识的触发操作后,显示提醒通知指示的时刻目标对象的图像。
第二终端的用户可以针对显示的提醒通知对应的标识进行触发操作,如用户可以点击触控显示屏上该提醒通知对应的标识所在处,以触发第二终端从服务器获取该提醒通知指示的时刻目标对象的图像。该图像也即是目标对象不满足目标条件时的图像。示例地,请继续参考图10,用户点击提醒通知在进度条中的标记点d后,第二终端可以显示该提醒通知指示的时刻目标对象的图像X。第二终端的用户可以基于该图像,获知目标对象不满足目标条件以使第一终端发出提示消息时的目标对象的具体状态。如此可以保证对目标对象的学习过程中较重要的事件的及时精准地监督。
可选地,第二终端可以基于该触发操作向服务器发送图像获取请求,该图像获取请求携带该提醒通知指示的时刻。服务器中可以存储目标对象不满足目标条件的各个时刻的图像,服务器可以基于该图像获取请求携带的时刻向服务器发送对应的图像。可选地,步骤512中服务器向第二终端发送提醒通知时,可以一并向第二终端发送该提醒通知指示的时刻目标对象的图像。如此,步骤513中第二终端在检测到针对提醒通知对应的标识的触发操作后,可以直接显示该提醒通知指示的时刻目标对象的图像,保证图像的显示快捷性。可选地,第二终端也可以基于该触发操作,显示该提醒通知指示的时刻所在的时段的视频片段,以供第二终端的用户更清楚地获知目标对象的状态。该视频片段的获取方式和提醒通知指示的时刻的图像的获取方式相同,本申请实施例不再赘述。
需要说明的是,本申请实施例以服务器在向第一终端发送提示指令时,向第二终端发送提醒通知,也即是每个提醒通知均需基于一个提示指令为例。可选地,服务器可以在确定目标对象不满足目标条件时,执行目标操作,该目标操作包括:向第一终端发送提示指令,以及向第二终端发送提醒通知中的至少一个。如服务器可以分别向第一终端发送提示指令,以及向第二终端发送提醒通知;或者也可以仅向第一终端发送提示指令,而不向第二终端发送提醒通知;或者也可以仅向第二终端发送提醒通知,而不向第一终端发送提示指令。对于服务器执行目标操作的时机可以参考图5中向第一终端发送提示指令的时机,本申请实施例不再赘述。
可选地,本申请实施例中第一终端或服务器除了确定学习信息,还可以确定目标对象的学习过程中的其他信息。下面以服务器确定该其他信息为例进行介绍。第一终端和第二终端除了显示学习信息,还可以显示该其他信息。
在一可选实现中,第一终端和第二终端还可以用于显示学习总时长的信息。示例地,第一终端可以在接收到开始学习指令后便开始计时,进而将计时所得时长确定为学习总时长,并可以实时显示该学习总时长的信息。示例地,服务器在确定第一终端接收到开始学习指令的时间后,可以向第二终端发送第一终端接收到开始学习指令的时间的信息。第二终端可以实时确定该时间与当前时刻之间的时长,该时长也即是目标对象的学习总时长;继而第二终端可以实时显示该学习总时长的信息。例如,请继续参考图10和图11,第一终端和第二终端均可以显示有“本次自习总共用时01:40:10”,也即是目标对象的学习总时长为一小时40分钟10秒。
在另一可选实现中,服务器还可以对视频流中目标对象的信息进行分析,确定目标对象的学习效率。该学习效率可以用于反映目标对象完成学习任务的速度快慢。目标对象完成学习任务的速度越快,则该学习效率越高。目标对象的学习效率可以基于目标对象开始学习的时刻至当前时刻之间的整体学习状态确定。服务器确定学习效率后,可以向第一终端和第二终端发送该学习效率的信息。第一终端和第二终端可以显示该学习效率的相关信息,该相关信息可以直接为表示该学习效率的百分数,第一终端和第二终端可以直接显示该百分数。可选地,服务器也可以仅向第一终端和第二终端中的一个终端发送该学习效率的信息。
示例地,服务器可以基于特定的学习效率分析模型,确定目标对象的学习效率。该学习效率可以通过百分数的形式表示。目标对象的专注度以及姿势、表情和动作可以用于辅助分析目标对象的学习效率。如目标对象的专注度越高,表情越轻松,学习效率高的可能性越大。对于学习效率分析模型的训练方式可以参考上述对专注度分析模型的相关介绍,本申请实施例不再赘述。
可选地,服务器还可以基于该学习效率确定目标对象的效率等级,该学习效率的相关信息可以为该效率等级的信息。如效率等级由低到高可以包括低、中等和高这三个等级,效率等级的个数也可以为四、五或其他个数,本申请实施例不做限定。对于效率等级的介绍(如不同等级与阈值的关系)也可以参考上述对于专注等级的介绍,本申请实施例不再赘述。服务器也可以向第一终端和第二终端发送发送效率等级的信息,第一终端和第二终端可以显示该效率等级的信息。如图10和图11,第一终端和第二终端均可以显示效率等级的信息,如图10中效率等级为中等,图11中效率等级为优。
在又一可选实现中,服务器还可以获取目标对象的学习进度的信息。示例地,该学习进度可以为目标对象已完成的学习任务的项数与学习任务的总项数的比值。第一终端在接收到针对任一项学习任务的完成指令后,可以向服务器发送指示该项学习任务已完成的第一信息。服务器可以基于该第一信息确定已完成的学习任务的项数,进而可以确定当前的学习进度。服务器可以向第一终端和第二终端发送该学习进度的信息,以供第一终端和第二终端显示该学习进度的信息。示例地,请继续参考图10和图11,第一终端和第二终端可以通过进度条的方式来显示该学习进度。该进度条中一定比例的区域通过指定颜色填充,该比例可以与该学习进度相匹配。可选地,服务器也可以仅向第一终端和第二终端中的一个终端发送该学习进度的信息,进而第一终端和第二终端中可以仅一个终端显示该学习进度的信息。
可选地,第一终端在接收到针对任一学习任务的触发操作,确认目标对象开始执行该学习任务后,可以显示该学习任务对应的完成控件。在接收到针对该完成控件的触发操作后,可以确认接收到针对该学习任务的完成指令。如请继续参考图11,第一终端在执行第三项学习任务时可以显示图11所示的界面,该界面中可以显示有该学习任务对应的完成控件W。目标对象在完成该学习任务后可以点击该完成控件,以触发第一终端接收到针对该学习任务的完成指令,获知该项学习任务已完成。之后,第一终端可以跳转至再次显示图6所示的界面,其中已完成的学习任务对应的开始控件可以不再显示,或者该开始控件更改为已完成的标识。或者,第一终端也可以继续显示图11所示的界面,且直接默认开始执行下一项学习任务。
可选地,第一终端和第二终端还可以显示目标对象当前正在进行的学习任务的信息,以及该学习任务已耗费的时间的信息。如图10和图11中的信息“正在进行第三项任务语文作文,已用时10分钟”。可选地,服务器在接收到第一终端发送的针对任一学习任务的第一信息后,可以向第二终端发送该学习任务已完成的指示信息。第二终端可以基于该指示信息在进度条中显示该学习任务完成时刻对应的标记点,如该标记点为图10中的标记点e。
可选地,服务器还可以基于视频流确定目标对象是否在休息。或者,第一终端上可以显示有休息控件,第一终端可以在该休息控件被触发后,确定目标对象在休息,进而向服务器发送目标对象处于休息状态的信息。或者,第一终端获取的学习任务中有规定的休息时段。服务器可以获取该休息时段的信息,并向第二终端发送该休息时段的信息。第二终端接收到该休息时段的信息后,可以在进度条中显示该休息时段对应的标记段,如图10中的标记段f。可选地,第二终端还可以显示该休息时段的起始时间或者结束时间,以及该休息时段的时长的信息。
可选地,第二终端还可以显示呼叫控件H。用户在监督孩子的学习过程中,可以随时触发该呼叫控件,以使第二终端接收到针对呼叫控件的触发指令。之后第二终端可以通过服务器向第一终端发起呼叫请求,进而基于呼叫请求与第一终端进行通话。示例地,该通话为视频通话。第一终端在接收到呼叫请求后,可以显示接听控件和挂断控件。第一终端在检测到针对接听控件的触发操作后,可以向服务器发送接听指令。服务器基于该接听指令,向第二终端发送第一终端实时拍摄的视频,且向第一终端发送第二终端实时拍摄的视频。第一终端播放第二终端实时拍摄的视频,第二终端播放第一终端实时拍摄的视频,如此实现第二终端与第二终端的通话,以便于家长与孩子的沟通。若第一终端检测到针对挂断控件的触发操作后,则向服务器方挂断指令。服务器基于该挂断指令,向第二终端反馈目标对象拒绝通话的提示消息。可选地,该通话也可以为语音通话。
需要说明的是,本申请实施例中第二终端仅显示目标对象的学习学习信息,以及学习过程中的其他特征信息,在需要视频通话时再发起视频通话请求,而并不直接展示目标对象的实时视频。如此可以在对孩子进行监督的基础上,保护孩子的隐私,且还可以了解孩子的学习进度,保证对孩子的学习状况的了解更全面。
步骤514、第一终端在接收到学习结束指令后,停止采集目标对象的视频流,且生成本次学习过程的学习报告以及所述本次学习过程所在的目标时段的学习报告。
第一终端在接收到针对最后一项学习任务的完成指令后,可以确定接收到学习结束指令。或者,第一终端还可以显示结束本次学习的控件,在检测到针对该控件的触发操作后,确定接收到学习结束指令。第一终端可以基于该学习结束指令,停止采集目标对象的视频。
本次学习过程为第一终端接收到开始学习指令到接收到结束学习指令之间的过程。目标时段中存在至少一次学习过程。可选地,该目标时段可以包括本周中的所有学习过程,或者本月中的所有学习过程,或者第一终端登录的账号对应的所有学习过程。第一终端在确定目标对象的本次学习结束,进而可以对本次学习过程中的学习信息进行统计,并整合生成本息学习过程的学习报告。可选地,第一终端还可以对本次学习过程所在的目标时段中的学习信息进行整体分析,以确定该目标时段的学习报告。在目标时段中每新增一次学习过程后,目标时段的学习报告均会发生更新。
本申请实施例中,任一时段(如任一次学习过程或任一目标时段)的学习报告包括:该时段中学习过程的总时长的信息,该时段的学习过程中专注度高于第一专注度阈值的总专注时长的信息,以及该时段的学习过程中第一终端发出提示消息的总次数的信息。示例地,该提示消息的总次数可以分为不同类型的提示消息的次数,不同类型的提示消息的次数可以分别显示。如该不同类型的提示消息包括不专注对应的提示消息,以及坐姿问题对应的提示消息。可选地,该时段的学习报告还包括:专注等级的信息以及效率等级的信息。
可选地,步骤514中也可以由服务器生成本次学习过程的学习报告以及所述本次学习过程所在的目标时段的学习报告,本申请实施例不做限定。
步骤515、第一终端向第二终端发送本次学习过程的学习报告以及目标时段的学习报告。
第一终端在生成本次学习过程的学习报告以及目标时段的学习报告后,可以向第二终端发送本次学习过程的学习报告以及目标时段的学习报告。
可选地,若由服务器生成本次学习过程的学习报告以及所述本次学习过程所在的目标时段的学习报告,服务器也可以仅向第一终端和第二终端中的一个终端,发送本次学习过程的学习报告以及目标时段的学习报告。此时,步骤515可以由服务器中的中央处理单元控制网络接口单元执行。相应地,第一终端和第二终端中的通信单元接收本次学习过程的学习报告以及目标时段的学习报告。
步骤516、第一终端显示本次学习过程的学习报告以及目标时段的学习报告。
步骤517、第二终端显示本次学习过程的学习报告以及目标时段的学习报告。
第二终端在接收到本次学习过程的学习报告以及目标时段的学习报告后,可以显示接收到的学习报告。示例地,图12是本申请实施例提供的另一种第二终端的显示界面的示意图。第二终端可以通过图12所示的界面显示接收到的学习报告,图12以目标时段的学习报告为本周内整体的学习报告为例。需要说明的是,图12中的坐姿提醒即是图12以在目标时段的学习报告之外,第二终端仅显示本次学习过程的学习报告为例进行示意。可选地,在目标时段中存在多次学习过程时,第二终端还可以显示本次学习过程之外的其他学习过程的学习报告。该多次学习过程的学习报告可以以列表的形式显示。可选地,如图10所示,第二终端还可以针对每次学习过程显示其学习历程图,也即是进度图。第一终端对学习报告的显示方式可以参考图12,第一终端可以不显示学习历程图。
需要说明的是,步骤516和步骤517分别可以由第一终端和第二终端的显示屏执行,如该显示屏在控制器的控制下执行。
综上所述,本申请实施例提供的学习监督方法中,电子设备对目标对象在学习过程中的视频流进行分析,以确定学习过程中目标对象各个时刻的专注度,进而可以向目标对象的监督设备发送与该专注度相关的目标对象的学习信息,以供监督设备显示该学习信息。如此一来,家长在任意时刻观看监督设备,都可以获知孩子在此之前各个时刻是否在专心学习,无需持续实时地观看监督设备,简化了家长的监督过程,提高了对目标对象的学习过程的监督效果,且保护了目标对象的隐私。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令。当该指令在计算机上运行时,使得计算机执行上述实施例提供的学习监督方法中第一终端执行的步骤,或者第二终端执行的步骤,或者服务器执行的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例提供的学习监督方法中第一终端执行的步骤,或者第二终端执行的步骤,或者服务器执行的步骤。
需要说明的是,本申请实施例提供的方法实施例能够与相应的设备实施例相互参考,各个方法实施例和各个设备实施例也可以相互参考,本申请实施例对此不作限定。本申请实施例提供的方法实施例步骤的先后顺序能够进行适当调整,步骤也能够根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
本申请中,在通篇说明书及权利要求当中所提及的“包括”为一开放式用语,故应解释成“包括但不限定于”。本申请实施例中术语“第一”、“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。本申请实施例中术语“至少一个”的含义指一个或多个,本申请中术语“多个”的含义是指两个或两个以上。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。在涉及数学公式计算的情况下,字符“/”表示运算符“除以”。本申请中术语“A和B的至少一种”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B的至少一种,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种电子设备,其特征在于,所述电子设备用于:
获取目标对象在学习过程中的视频流;
对所述视频流中所述目标对象的行为信息进行分析,确定所述学习过程中所述目标对象各个时刻的专注度;
确定与所述专注度相关的所述目标对象的学习信息;
向所述目标对象的监督设备发送所述学习信息,以供所述监督设备显示所述学习信息。
2.根据权利要求1所述的电子设备,其特征在于,所述行为信息包括:面部表情信息、坐姿信息、头部姿态信息、眼睛开合状态信息以及肢体姿态信息中的M种信息,M≥2;所述电子设备还用于:
基于所述视频流,确定所述M种信息中每种信息的参数值;
基于所述M种信息中第i种信息相较于第j种信息对专注度的重要程度,生成判断矩阵,其中,i和j均为小于或等于M的正整数,所述判断矩阵的第i行第j列的元素用于表征所述M种信息中,所述第i种信息相较于所述第j种信息对专注度的重要程度,所述判断矩阵为M行M列的矩阵;
分别对所述判断矩阵中每一行元素的乘积进行开方运算;
对开方运算后的每一行元素的乘积进行归一化处理,得到所述M种信息中每种信息的权重;其中,所述M种信息中第i种信息的权重为对开方运算后的第i行元素的乘积进行归一化处理后得到的数值;
基于所述M种信息中每种信息的权重,确定所述M种信息的参数值的加权和;
将所述M种信息的参数值的加权和,确定为所述目标对象的专注度。
3.根据权利要求1或2所述的电子设备,其特征在于,所述学习信息包括所述目标对象的专注时长、专注时段和专注等级中的至少一种信息;
其中,所述专注时长为所述目标对象的专注度高于第一专注度阈值的时长;所述专注时段中的每个时刻所述目标对象的专注度高于所述第一专注度阈值;所述专注等级基于所述专注时长以及所述学习过程的时长得到;所述专注等级与所述专注时长正相关,与所述学习过程的时长负相关。
4.根据权利要求1或2所述的电子设备,其特征在于,所述电子设备还用于:
基于所述视频流确定所述目标对象的姿势与标准姿势的相似度;
在确定所述目标对象不满足目标条件的持续时长大于或等于时长阈值时,发出提示消息,所述提示消息用于提示所述目标对象调整状态以满足所述目标条件;
其中,所述目标条件包括:专注度高于或等于第二专注度阈值,或姿势与所述标准姿势的相似度小于相似度阈值。
5.根据权利要求4所述的电子设备,其特征在于,所述学习信息包括:所述目标对象不满足所述目标条件时的图像;所述电子设备还用于:
在发出所述提示消息时,向所述监督终端发送所述目标对象不满足所述目标条件时的图像,以供所述监督终端显示目标对象不满足所述目标条件时的图像。
6.根据权利要求1或2所述的电子设备,其特征在于,所述电子设备还用于:
对所述视频流中所述目标对象的行为信息进行分析,确定所述目标对象的学习效率,所述学习效率用于反映所述目标对象完成学习任务的速率,所述学习效率与所述专注度正相关;
向所述监督设备发送所述学习效率的信息;
显示所述学习效率的信息。
7.根据权利要求1或2所述的电子设备,其特征在于,所述电子设备还用于:
获取多项学习任务;
在接收到针对所述多项学习任务中任一项学习任务的完成指令后,确定学习进度,所述学习进度为已完成的任务项数与所述多项学习任务的项数的比值;
向所述监督设备发送所述学习进度的信息,以供所述监督设备显示所述学习进度的信息。
8.根据权利要求1或2所述的电子设备,其特征在于,所述电子设备还用于:
在接收到针对所述监督设备发起的通话请求的接听指令后,与所述监督设备进行通话连接。
9.根据权利要求1或2所述的电子设备,其特征在于,所述电子设备还用于:
在接收到学习结束指令后,停止采集所述目标对象的视频流;
生成本次学习过程的学习报告以及所述本次学习过程所在的目标时段的学习报告;
向所述监督设备发送所述本次学习过程的学习报告以及所述目标时段的学习报告,以供所述监督设备显示所述本次学习过程的学习报告以及所述目标时段的学习报告;
显示所述本次学习过程的学习报告以及所述目标时段的学习报告;
其中,所述目标时段中存在至少一次学习过程,任一时段的学习报告包括:所述任一时段中各次学习过程的总时长的信息,所述任一时段的各次学习过程中专注度高于第一专注度阈值的总专注时长的信息,以及所述任一时段的各次学习过程中所述第一终端发出所述提示消息的总次数的信息。
10.一种学习监督方法,其特征在于,用于电子设备,所述方法包括:
获取目标对象在学习过程中的视频流;
对所述视频流中所述目标对象的行为信息进行分析,确定所述学习过程中所述目标对象各个时刻的专注度;
确定与所述专注度相关的所述目标对象的学习信息;
向所述目标对象的监督设备发送所述学习信息,以供所述监督设备显示所述学习信息。
CN202111619613.XA 2021-12-27 2021-12-27 电子设备及学习监督方法 Pending CN114339149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111619613.XA CN114339149A (zh) 2021-12-27 2021-12-27 电子设备及学习监督方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111619613.XA CN114339149A (zh) 2021-12-27 2021-12-27 电子设备及学习监督方法

Publications (1)

Publication Number Publication Date
CN114339149A true CN114339149A (zh) 2022-04-12

Family

ID=81014531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111619613.XA Pending CN114339149A (zh) 2021-12-27 2021-12-27 电子设备及学习监督方法

Country Status (1)

Country Link
CN (1) CN114339149A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205764A (zh) * 2022-09-15 2022-10-18 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918133A (zh) * 2020-07-27 2020-11-10 深圳创维-Rgb电子有限公司 辅导和监督学生写作业的方法、电视机和存储介质
CN112101231A (zh) * 2020-09-16 2020-12-18 腾讯科技(深圳)有限公司 学习行为的监控方法、终端、小程序以及服务器
CN112613780A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种学习报告生成的方法、装置、电子设备及存储介质
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN113591515A (zh) * 2020-04-30 2021-11-02 百度在线网络技术(北京)有限公司 专注度处理方法、装置及存储介质
CN113838274A (zh) * 2021-09-19 2021-12-24 安徽淘云科技股份有限公司 智能书桌及学习状态的监督方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591515A (zh) * 2020-04-30 2021-11-02 百度在线网络技术(北京)有限公司 专注度处理方法、装置及存储介质
CN111918133A (zh) * 2020-07-27 2020-11-10 深圳创维-Rgb电子有限公司 辅导和监督学生写作业的方法、电视机和存储介质
CN112101231A (zh) * 2020-09-16 2020-12-18 腾讯科技(深圳)有限公司 学习行为的监控方法、终端、小程序以及服务器
CN112652200A (zh) * 2020-11-16 2021-04-13 北京家有课堂科技有限公司 人机交互系统、方法、服务器、交互控制设备及存储介质
CN112613780A (zh) * 2020-12-29 2021-04-06 北京市商汤科技开发有限公司 一种学习报告生成的方法、装置、电子设备及存储介质
CN113838274A (zh) * 2021-09-19 2021-12-24 安徽淘云科技股份有限公司 智能书桌及学习状态的监督方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任婕: "基于机器视觉的学生专注度综合评价研究", 《中国优秀硕士学位论文全文数据库》, 15 February 2021 (2021-02-15), pages 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205764A (zh) * 2022-09-15 2022-10-18 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、系统及介质
CN115205764B (zh) * 2022-09-15 2022-11-25 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、系统及介质

Similar Documents

Publication Publication Date Title
WO2020034902A1 (zh) 具有状态监控功能的智能桌、监控系统服务器及监控方法
WO2018171223A1 (zh) 一种看护机器人的数据处理方法及装置
WO2021232775A1 (zh) 视频处理方法及装置、电子设备和存储介质
WO2019128558A1 (zh) 用户肢体动作的解析方法、系统及移动终端
JP2009258175A (ja) 講義システムおよび集計システム
CN108712603B (zh) 一种图像处理方法及移动终端
CN103238311A (zh) 电子设备及电子设备的控制程序
CN108961679A (zh) 一种注意力提醒方法、装置及电子设备
KR102293234B1 (ko) 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법
JP2009267621A (ja) 通信装置
CN111402096A (zh) 一种在线授课质量管理方法、系统、设备和介质
CN114339149A (zh) 电子设备及学习监督方法
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管系统
CN114489331A (zh) 区别于按钮点击的隔空手势交互方法、装置、设备和介质
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
CN109739414A (zh) 一种图片处理方法、移动终端、计算机可读存储介质
CN112307323B (zh) 信息推送方法和装置
CN112333511A (zh) 智能电视的控制方法、装置、设备及计算机可读存储介质
Suryani et al. Multi-modal asian conversation mobile video dataset for recognition task
WO2022078154A1 (zh) 显示设备及媒资播放方法
CN113591515B (zh) 专注度处理方法、装置及存储介质
US20230394878A1 (en) Program, information processing device, and method
CN114550183A (zh) 电子设备及错题记录方法
CN113553156A (zh) 信息提示方法、装置、计算机设备和计算机存储介质
CN109558853B (zh) 一种音频合成方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination