CN114971975B - 在线教育平台用的学习异常提醒方法及系统 - Google Patents
在线教育平台用的学习异常提醒方法及系统 Download PDFInfo
- Publication number
- CN114971975B CN114971975B CN202210912912.0A CN202210912912A CN114971975B CN 114971975 B CN114971975 B CN 114971975B CN 202210912912 A CN202210912912 A CN 202210912912A CN 114971975 B CN114971975 B CN 114971975B
- Authority
- CN
- China
- Prior art keywords
- time
- real
- user
- question
- played
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000001815 facial effect Effects 0.000 claims abstract description 127
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 109
- 230000004397 blinking Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 21
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Ophthalmology & Optometry (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及在线教育技术领域,涉及一种在线教育平台用的学习异常提醒方法及系统,该方法包括:确定在线教育平台内所有的视频课程,建立与视频课程相匹配的问题库;获取与待播放视频课程相匹配的问题库;采集用户的初始面部特征信息和实时面部特征信息;将初始面部特征信息与实时面部特征信息进行对比,当确定提取待解答问题时,从问题库中提取至少一个待解答问题,将待解答问题展示给用户,并提示用户进行答题,当用户回答正确时,则继续播放待播放视频课程,当用户回答错误时,则输出异常提醒信息。本发明能够在学生未认真学习时,及时有效地对学生学习过程中的异常状态进行提醒,以提醒学生认真地学习录播课程,提高了学生的学习效率。
Description
技术领域
本发明涉及在线教育技术领域,具体而言,涉及一种在线教育平台用的学习异常提醒方法及系统。
背景技术
目前,以互联网为核心的信息技术在全球教育领域得到广泛的应用,基于互联网的信息化教学已经显示出其独特的优势,实现了网络化在线教学模式,让课堂不再受时间、空间限制,同时也为老师和学生的沟通提供了大量最新、最丰富的在线学习资源和新的互动交流渠道。
现有技术中,在线平台主要包括实时在线教学和录播课程教学两种教学方式。当学生通过录播课程进行学习时,现有的在线教育平台虽然能够在平台内记录学生的学习内容以及学习记录,但无法有效地获知学生的实时学习过程,并在学生未认真学习时,无法有效地进行学习过程中的异常提醒,以促使学生全程认真地学习录播课程。
因此,现有的在线教育平台急需解决上述不足。
发明内容
鉴于此,本发明提出了一种在线教育平台用的学习异常提醒方法及系统,旨在解决在学生未认真学习时,如何有效地进行学习过程中的异常提醒,以促使学生全程认真地学习录播课程的问题。
一个方面,本发明提出了一种在线教育平台用的学习异常提醒方法,包括:
确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库;
在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息。
进一步地,当确定提取所述待解答问题,从所述待提取问题库中提取至少一所述待解答问题,包括:
在确定提取所述待解答问题后,确定所述实时面部特征信息采集时的时间节点,作为问题提取时间节点,并从所述待提取问题库中提取至少一个所述待解答问题,所述待解答问题所对应的时间节点位于所述问题提取时间节点之前,且提取的所述待解答问题所对应的时间节点距离所述问题提取时间节点最近。
进一步地,所述初始面部特征信息包括标准眨眼频率P0和初始眼部距离值L0。
进一步地,在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,包括:
在所述用户选定所述待播放视频课程后,提示所述用户正视课程播放界面,并采集所述用户的初始面部图像数据,在所述初始面部图像数据中提取一初始图像帧,确定所述初始图像帧中的双眼的中心点,并获取左眼中心点与初始图像帧左侧边缘之间的间距L1,以及右眼中心点与初始图像帧右侧边缘之间的间距L2,将L1与L2的和作为所述初始眼部距离值L0,则L0=L1+L2。
进一步地,所述实时面部特征信息包括实时眨眼频率△P和实时眼部距离值△L0a。
进一步地,在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息,包括:
在所述用户观看所述待播放视频课程中,实时采集所述用户的实时面部图像数据,并在所述实时面部图像数据中提取一图像帧,确定所述图像帧中的双眼的中心点,并获取左眼中心点与图像帧左侧边缘之间的间距△L01,以及右眼中心点与图像帧右侧边缘之间的间距△L02,将△L01与△L02的和作为实时眼部距离值△L0a,则△L0a=△L01+△L02;其中,
当从图像帧中仅能够获取左眼中心点时,则将右眼中心点与图像帧右侧边缘之间的间距△L02记为0,此时△L0a=△L01+0;
当从图像帧中仅能够获取右眼中心点时,则将左眼中心点与图像帧右侧边缘之间的间距△L01记为0,此时△L0a=0+△L02;
当从图像帧中无法获取左眼中心点和右眼中心点时,则将△L01和△L02均记为0,此时△L0a=0+0;
当所述用户在观看所述待播放视频课程时,实时确定所述用户的眨眼频率,以作为所述实时眨眼频率△P。
进一步地,在将所述初始面部特征信息与所述实时面部特征信息进行对比,并根据比对结果确定是否提取所述待解答问题时,包括:
将所述用户的初始眼部距离值L0与所述实时眼部距离值△L0a进行比对,其中,
当△L0a≥L0时,将所述标准眨眼频率P0与所述实时眨眼频率△P进行比对,若△P<P0,则从所述问题库中提取所述待解答问题,若△P≥P0,则不提取所述待解答问题,继续播放所述待播放视频课程;
当△L0a<L0时,则直接从所述问题库中提取所述待解答问题。
进一步地,当确定提取所述待解答问题,并从所述问题库中提取所述待解答问题,包括:
根据所述初始眼部距离值L0与所述实时眼部距离值△L0a之间的距离差值△m确定所述待解答问题的提取数量,具体为:
设定第一预设距离差值m1、第二预设距离差值m2、第三预设距离差值m3和第四预设距离差值m4,且m1<m2<m3<m4;设定第一预设待解答问题提取数量Q1、第二预设待解答问题提取数量Q2、第三预设待解答问题提取数量Q3和第四预设待解答问题提取数量Q4,且Q1<Q2<Q3<Q4,Q1~Q4为正整数;
根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量:
当△m<m1时,选定所述第一预设待解答问题提取数量Q1作为所述待解答问题的提取数量;
当m1≤△m<m2时,选定所述第二预设待解答问题提取数量Q2作为所述待解答问题的提取数量;
当m2≤△m<m3时,选定所述第三预设待解答问题提取数量Q3作为所述待解答问题的提取数量;
当m3≤△m<m4时,选定所述第四预设待解答问题提取数量Q4作为所述待解答问题的提取数量;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,i=1,2,3,4,则从所述问题库中提取Qi个问题作为所述待解答问题,提取的Qi个所述待解答问题所对应的时间节点在所述问题提取时间节点之前且距离所述问题提取时间节点最近。
进一步地,当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,从所述问题库中提取Qi个问题作为所述待解答问题,包括:
将提取的Qi个所述待解答问题按照距离所述问题提取时间节点由远到近的顺序进行排序,并建立问题列表q,q(q1-t1,q2-t2,q3-t3,...,qn-tn),n=Qi,其中,q1为第一待解答问题,t1为q1提取时位于所述待播放视频课程中的时间节点,q2为第二待解答问题,t2为q2提取时位于所述待播放视频课程中的时间节点,q3为第三待解答问题,t3为q3提取时位于所述待播放视频课程中的时间节点,qn为第n待解答问题,tn为qn提取时位于所述待播放视频课程中的时间节点;
将所述待解答问题展示给用户,并提示用户进行答题,包括:
在将提取的Qi个所述待解答问题排序获取所述问题列表q后,由q1至qn依次将各个待解答问题推送给用户进行答题:
当所述用户将q1~qn均回答正确后,则继续播放所述待播放视频课程;
当所述用户按排序顺序答题至任意一待解答问题回答错误后,则不再推送后续未回答的待解答问题,并输出异常提醒信息,同时,将所述待播放视频课程调整至回答错误的待解答问题所对应的时间节点后,继续播放所述待播放视频课程。
进一步地,在确定所述实时眼部距离值△L0a时,包括:
在采集所述用户的初始面部图像数据,并在根据所述初始面部图像数据获取所述初始眼部距离值L0后,确定所述初始图像帧的整体面积S01,并获取所述初始图像帧中的初始面部区域面积S02,确定所述整体面积S01与初始面部区域面积S02之间的初始面积比值Sa,且Sa=S02/S01;
在采集所述用户的实时面部图像数据,并在根据所述实时面部图像数据获取所述实时眼部距离值△L0a后,确定所述图像帧的整体面积S1,且S1=S01,并获取所述图像帧中的实时面部区域面积△S2,确定所述整体面积S1与实时面部区域面积△S2之间的实时面积比值△S,且△S=△S2/S1;
根据所述初始面积比值Sa和实时面积比值△S之间的差值,对所述实时眼部距离值△L0a进行调整,调整后的所述实时眼部距离值△L0a为:△L0a*(1+Sa-△S),根据调整后的所述实时眼部距离值△L0a确定是否提取所述待解答问题。
进一步地,在获取所述实时眨眼频率△P和实时眼部距离值△L0a时,包括:
设定第一预设平均成绩W1、第二预设平均成绩W2、第三预设平均成绩W3和第四预设平均成绩W4,且W1<W2<W3<W4,其中,W1为及格成绩;设定第一预设间隔时长T1、第二预设间隔时长T2、第三预设间隔时长T3和第四预设间隔时长T4,且0<T1<T2<T3<T4;
获取所述用户的历史平均成绩W0,根据所述历史平均成绩W0与各预设平均成绩之间的差值,确定相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长:
当W1≤W0<W2时,选定所述第一预设间隔时长T1作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W2≤W0<W3时,选定所述第二预设间隔时长T2作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W3≤W0<W4时,选定所述第三预设间隔时长T3作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W4≤W0时,选定所述第四预设间隔时长T4作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长。
另一方面,本发明还提出了一种在线教育平台用的学习异常提醒系统,包括:
问题库模块,用于确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库;
数据采集模块,用于在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
处理模块,用于将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
所述处理模块还用于将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息。
与现有技术相比,本发明的在线教育平台用的学习异常提醒系统与在线教育平台用的学习异常提醒方法中,通过确定在线教育平台内所有的视频课程,建立与视频课程相匹配的问题库,在用户登陆在线教育平台并选定待播放视频课程后,获取与待播放视频课程相匹配的问题库,在用户开始播放待播放视频课程前,采集用户的初始面部特征信息,并在用户观看待播放视频课程时,实时采集用户的实时面部特征信息,将初始面部特征信息与实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取待解答问题时,将待解答问题展示给用户,并提示用户进行答题,当用户回答正确时,则继续播放待播放视频课程,当用户回答错误时,则输出异常提醒信息。本发明通过建立与视频课程相匹配的问题库,并确定用户在学习过程中的实时面部特征变化,当变化较大时暂停视频课程播放,并进行问题弹窗,提示用户回答与已播放的视频课程相匹配的问题,当其回答正确时,则判断其学习状态正常,当回答错误时,则判断其学习状态异常,并进行异常提醒,从而使用户专心的进行视频课程的学习,以保证其学习效率。
可以看出,本发明能够在学生未认真学习时,及时有效的对学生学习过程中的异常状态进行提醒,以提醒学生认真地学习录播课程,不仅提高了学生的学习效率,还极大地提高了异常状态判断结果的准确性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的在线教育平台用的学习异常提醒方法的流程图;
图2为本发明实施例提供的图像处理示意图;
图3为本发明实施例提供的第一终端界面示意图;
图4为本发明实施例提供的第二终端界面示意图;
图5为本发明实施例提供的在线教育平台用的学习异常提醒系统的第一功能框图;
图6为本发明实施例提供的在线教育平台用的学习异常提醒系统的第二功能框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整地传达给本领域的技术人员。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明中的实施例基于在线教育平台进行实施,现有的在线教育平台是以互联网为核心的信息技术,即,现有的在线教育平台是基于互联网搭建的,从而实现在线教学的目的。
参阅图1所示,本实施例提供的一种在线教育平台用的学习异常提醒方法,包括以下步骤:
步骤S100:确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库。
具体而言,在确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库时。在线教育平台内所有的视频课程为,在线教育平台当前能够进行学习的录制好的视频课程,即是,能够提供给用户进行学习的视频课程。
具体而言,在建立视频课程的问题库时,分别获取每一视频课程的时长及视频内容。对每一视频课程的视频内容进行分节处理,即是,将视频课程的内容若分成若干小节,并确定每一小节在整段视频课程中的开始时的时间节点。
具体而言,在将视频课程的内容若分成若干小节后,从每一小节中提取若干知识点,根据提取的知识点设计针对该知识点的问题,在对所有的知识点处理完成并设计问题后,将问题按照时间顺序进行排序,并确定每一问题所对应的处于小节中的时间节点,将每一小节的问题与问题所对应的时间节点进行匹配,形成问题列集,将每一小节的问题集按照时间先后顺序进行排序后,形成问题库。
在获取每一视频课程的问题库后,将每一视频课程的问题库存储至在线教育平台的数据库中,形成整体问题库,以便于后续调用。
其中,将视频课程和与其所对应的问题库建立匹配标识,便于后续确定该视频课程后,能够从数据库中直接调取与该视频课程所匹配的问题库。
其中,在建立问题库时,可通过人工的方式进行对视频课程的内容的章节进行处理,也可以通过建立训练模型的方式进行章节处理;同样的,在对每一小节进行问题设计时,可以通过人工的方式确定知识点并设计问题,还可以通过训练模型进行知识点的确定并设计问题,具体可根据实际情况进行选择。
步骤S200:在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息。
具体而言,在所述用户开始播放所述待播放视频课程前,此时,用户需要观看的视频课程已经被选定,作为待播放视频课程,从数据库中调出与该待播放视频课程相匹配的问题库。之后,通过用户所使用的终端上的图像采集模块采集所述用户图像数据,可以为视频数据或者图片数据,对视频数据或者图片数据进行处理后获得初始面部特征信息。
具体而言,在所述用户观看所述待播放视频课程时,即是,在用户观看待播放视频课程的过程中,通过用户所使用的终端上的图像采集模块实时的采集用户的图像数据,优选为视频数据,根据采集的视频数据用户在学习过程中的实时面部特征信息,即是,对获取的视频数据进行处理后获得实时面部特征信息。
具体而言,初始面部特征信息包括标准眨眼频率P0和初始眼部距离值L0。其中,标准眨眼频率P0根据实际情况进行设定。人的正常眨眼频率为每秒2-3下,则可根据每秒眨眼频率确定预设时长内的眨眼频率后,将预设时长内的眨眼频率范围值中的最低值作为标准眨眼频率P0。例如,选15秒的眨眼频率为30-45下,则将30下作为标准眨眼频率P0。具体的所选取的时长可根据实际情况进行确定,即是,标准眨眼频率P0可根据实际情况进行确定。
具体而言,在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,包括:
在所述用户选定所述待播放视频课程后,提示所述用户正视课程播放界面,并采集所述用户的初始面部图像数据,在所述初始面部图像数据中提取一初始图像帧,确定所述初始图像帧中的双眼的中心点,并获取左眼中心点与初始图像帧左侧边缘之间的间距L1,以及右眼中心点与初始图像帧右侧边缘之间的间距L2,将L1与L2的和作为所述初始眼部距离值L0,则L0=L1+L2。
结合图2所示,具体而言,初始眼部距离值L0在确定时,首先提示用户正视图像采集模块,以使用户直视待播放视频课程的显示设备,此时采集用户的图像数据,作为初始面部图像数据。对初始面部图像数据进行图像处理,从而初始面部图像数据中选取一图像帧,作为初始图像帧E,在初始图像帧E中标记出面部区域,作为初始面部区域F。
在初始图像帧E分别标记出人脸中的左眼中心点B和右眼中心点A,同时,还确定初始图像帧E左侧边缘距离左眼中心点B最近的左侧边缘点D,以及确定初始图像帧E右侧边缘距离右眼中心点A最近的右侧边缘点C,获取左眼中心点B与左侧边缘点D之间的间距R1作为左眼中心点与初始图像帧左侧边缘之间的间距L1,同样的,获取右眼中心点A与右侧边缘点C之间的间距R2作为右眼中心点与初始图像帧右侧边缘之间的间距L2。
在获取L1和L2后,将L1和L2相加得到初始眼部距离值L0。
具体而言,所述实时面部特征信息包括实时眨眼频率△P和实时眼部距离值△L0a。实时眨眼频率△P为用户在观看待播放视频课程中的实时眨眼频率,实时眨眼频率△P在获取时,分别确定预设时长内用户的眨眼次数,作为实时眨眼频率△P,确定的预设时长与标准眨眼频率P0确定时的时长相同。
在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息,包括:
在所述用户观看所述待播放视频课程中,实时采集所述用户的实时面部图像数据,并在所述实时面部图像数据中提取一图像帧,确定所述图像帧中的双眼的中心点,并获取左眼中心点与图像帧左侧边缘之间的间距△L01,以及右眼中心点与图像帧右侧边缘之间的间距△L02,将△L01与△L02的和作为实时眼部距离值△L0a,则△L0a=△L01+△L02;其中,
当从图像帧中仅能够获取左眼中心点时,则将右眼中心点与图像帧右侧边缘之间的间距△L02记为0,此时△L0a=△L01+0;
当从图像帧中仅能够获取右眼中心点时,则将左眼中心点与图像帧右侧边缘之间的间距△L01记为0,此时△L0a=0+△L02;
当从图像帧中无法获取左眼中心点和右眼中心点时,则将△L01和△L02均记为0,此时△L0a=0+0;
当所述用户在观看所述待播放视频课程时,实时确定所述用户的眨眼频率,以作为所述实时眨眼频率△P。
上述确定所述图像帧中的双眼的中心点,即是,分别确定左眼中心点和右眼中心点。
上述实时眼部距离值△L0a的确定方式与初始眼部距离值L0的确定方式相同,在此不再赘述。
通过确定用户的实时眨眼频率△P,能够有效的确定用户在观看视频课程过程中是否发呆或者睡觉。
步骤S300:将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题。
具体而言,当确定提取所述待解答问题,从所述待提取问题库中提取至少一所述待解答问题,包括:
在确定提取所述待解答问题后,确定所述实时面部特征信息采集时的时间节点,作为问题提取时间节点,并从所述待提取问题库中提取至少一个所述待解答问题,所述待解答问题所对应的时间节点位于所述问题提取时间节点之前,且提取的所述待解答问题所对应的时间节点距离所述问题提取时间节点最近。
步骤S400:将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息。
具体而言,上述问题库中的问题均为选择题。
参阅图3所示,具体而言,在将所述待解答问题展示给用户时,通过弹窗的方式,在用户终端界面的视频播放区域内进行问题弹窗,以展示问题内容和答题选项。在进行问题弹窗时,自动停止视频课程的播放,在用户答题完成后在进行视频课程的播放。
参阅图4所示,在输出异常提醒信息时,通过弹窗的方式,在用户终端界面的视频播放区域内进行异常提醒弹窗,以展示提醒内容和确认选项。提醒内容为警示性文字,以提醒用户认真学习,通过确认选项反馈用户的操作后,继续进行视频课程的播放。
上述实施例中,通过确定在线教育平台内所有的视频课程,建立与视频课程相匹配的问题库,在用户登陆在线教育平台并选定待播放视频课程后,获取与待播放视频课程相匹配的问题库,在用户开始播放待播放视频课程前,采集用户的初始面部特征信息,并在用户观看待播放视频课程时,实时采集用户的实时面部特征信息,将初始面部特征信息与实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取待解答问题时,将待解答问题展示给用户,并提示用户进行答题,当用户回答正确时,则继续播放待播放视频课程,当用户回答错误时,则输出异常提醒信息。
上述实施例过建立与视频课程相匹配的问题库,并确定用户在学习过程中的实时面部特征变化,当变化较大时暂停视频课程播放,并进行问题弹窗,提示用户回答与已播放的视频课程相匹配的问题,当其回答正确时,则判断其学习状态正常,当回答错误时,则判断其学习状态异常,并进行异常提醒,从而使用户专心的进行视频课程的学习,以保证其学习效率。
具体而言,在将所述初始面部特征信息与所述实时面部特征信息进行对比,并根据比对结果确定是否提取所述待解答问题时,包括:
将所述用户的初始眼部距离值L0与所述实时眼部距离值△L0a进行比对,其中,
当△L0a≥L0时,将所述标准眨眼频率P0与所述实时眨眼频率△P进行比对,若△P<P0,则从所述问题库中提取所述待解答问题,若△P≥P0,则不提取所述待解答问题,继续播放所述待播放视频课程;
当△L0a<L0时,则直接从所述问题库中提取所述待解答问题。
具体而言,在获取实时眼部距离值△L0a后,当△L0a≥L0时,则可初步确定用户的面部朝向终端界面,其学习状态可能不存在异常,则进行眨眼频率判断以进一步验证,当眨眼频率正常时,则确定用户状态正常,继续进行视频课程的播放;当眨眼频率异常时,则可确定学生学习状态异常。当△L0a<L0时,则初步确定用户未正视播放界面,则可能存在未认真学习的情况,此时,直接进行待解答问题的展示,使用户进行答题后确认用户是否学习了课程内容。
具体的,若用户出现转头、低头等未正视播放界面的情况,则此时的实时眼部距离值△L0a会出现变化,将此时的实时眼部距离值△L0a与初始眼部距离值L0进行比对后,则能够初步判定用户当前的学习状态是否存在异常。具体的,当实时眼部距离值△L0a与初始眼部距离值L0之间的差值较大时,则说明用户面部的变化较大,则可初步判断用户当前学习状态存在异常;当实时眼部距离值△L0a与初始眼部距离值L0之间的差值较小时,则说明用户面部的变化较小,则可初步判断用户当前学习状态不存在异常。
当初步判定用户当前的状态存在异常后,再通过判断用户的眨眼频率进行最终的判断。当用户的实时眨眼频率△P低于标准眨眼频率P0时,则确定用户可能为发呆或睡觉等异常状态,此时则确定输出待解答问题,提示用户进行答题。
在提示用户答题时,还可通过声光信息提醒用户进行答题,若答题通过,则可确定用户学习了课程知识,继续播放视频课程;若回答错误,则确定用户未掌握已播放的课程的知识。
具体而言,当确定提取所述待解答问题,并从所述问题库中提取所述待解答问题,包括:
根据所述初始眼部距离值L0与所述实时眼部距离值△L0a之间的距离差值△m确定所述待解答问题的提取数量,具体为:
设定第一预设距离差值m1、第二预设距离差值m2、第三预设距离差值m3和第四预设距离差值m4,且m1<m2<m3<m4;设定第一预设待解答问题提取数量Q1、第二预设待解答问题提取数量Q2、第三预设待解答问题提取数量Q3和第四预设待解答问题提取数量Q4,且Q1<Q2<Q3<Q4,Q1~Q4为正整数;
根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量:
当△m<m1时,选定所述第一预设待解答问题提取数量Q1作为所述待解答问题的提取数量;
当m1≤△m<m2时,选定所述第二预设待解答问题提取数量Q2作为所述待解答问题的提取数量;
当m2≤△m<m3时,选定所述第三预设待解答问题提取数量Q3作为所述待解答问题的提取数量;
当m3≤△m<m4时,选定所述第四预设待解答问题提取数量Q4作为所述待解答问题的提取数量;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,i=1,2,3,4,则从所述问题库中提取Qi个问题作为所述待解答问题,提取的Qi个所述待解答问题所对应的时间节点在所述问题提取时间节点之前且距离所述问题提取时间节点最近。
通过根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量,能够根据用户的状态变化有效的调整问题的提取数量,能够有效地验证用户是否认真学习了课程内容,提高了判断结果的准确性。
具体而言,当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,从所述问题库中提取Qi个问题作为所述待解答问题,包括:
将提取的Qi个所述待解答问题按照距离所述问题提取时间节点由远到近的顺序进行排序,并建立问题列表q,q(q1-t1,q2-t2,q3-t3,...,qn-tn),n=Qi,其中,q1为第一待解答问题,t1为q1提取时位于所述待播放视频课程中的时间节点,q2为第二待解答问题,t2为q2提取时位于所述待播放视频课程中的时间节点,q3为第三待解答问题,t3为q3提取时位于所述待播放视频课程中的时间节点,qn为第n待解答问题,tn为qn提取时位于所述待播放视频课程中的时间节点;
将所述待解答问题展示给用户,并提示用户进行答题,包括:
在将提取的Qi个所述待解答问题排序获取所述问题列表q后,由q1至qn依次将各个待解答问题推送给用户进行答题:
当所述用户将q1~qn均回答正确后,则继续播放所述待播放视频课程;
当所述用户按排序顺序答题至任意一待解答问题回答错误后,则不再推送后续未回答的待解答问题,并输出异常提醒信息,同时,将所述待播放视频课程调整至回答错误的待解答问题所对应的时间节点后,继续播放所述待播放视频课程。
具体而言,在提取的3待解答问题时,建立问题列表q,q(q1-t1,q2-t2,q3-t3),依次将q1、q2和q3通过弹窗的方式推送至用户终端,在用户的终端界面展示q1、q2和q3三个问题,依次让用户作答,当q1答对,q2打错时,则不推送q3,直接确定q2所对应的位于所述待播放视频课程中的时间节点t2,使得待播放视频课程退回至t2时间节点,从t2时间节点进行待播放视频课程的播放,即,使用户重新观看t2时间节点处及以后的视频课程,从而使用户能够完整进行视频课程的每一知识点的学习及有效的掌握,提高学习效率。
具体而言,在确定所述实时眼部距离值△L0a时,包括:
在采集所述用户的初始面部图像数据,并在根据所述初始面部图像数据获取所述初始眼部距离值L0后,确定所述初始图像帧的整体面积S01,并获取所述初始图像帧中的初始面部区域面积S02,确定所述整体面积S01与初始面部区域面积S02之间的初始面积比值Sa,且Sa=S02/S01;
在采集所述用户的实时面部图像数据,并在根据所述实时面部图像数据获取所述实时眼部距离值△L0a后,确定所述图像帧的整体面积S1,且S1=S01,并获取所述图像帧中的实时面部区域面积△S2,确定所述整体面积S1与实时面部区域面积△S2之间的实时面积比值△S,且△S=△S2/S1;
根据所述初始面积比值Sa和实时面积比值△S之间的差值,对所述实时眼部距离值△L0a进行调整,调整后的所述实时眼部距离值△L0a为:△L0a*(1+Sa-△S),根据调整后的所述实时眼部距离值△L0a确定是否提取所述待解答问题,即是,调整后的实时眼部距离值记为△L0a1,△L0a1=△L0a*(1+Sa-△S),根据△L0a1重新确定是否提取所述待解答问题。
通过根据初始面积比值Sa和实时面积比值△S之间的差值,对所述实时眼部距离值△L0a进行调整,能够在用户距离图像采集模块的距离出现变化时,及时的调整实时眼部距离值△L0a的确定结果,从而保证实时眼部距离值△L0a的准确性,提高判断结果的准确性。
具体而言,在获取所述实时眨眼频率△P和实时眼部距离值△L0a时,包括:
设定第一预设平均成绩W1、第二预设平均成绩W2、第三预设平均成绩W3和第四预设平均成绩W4,且W1<W2<W3<W4,其中,W1为及格成绩;设定第一预设间隔时长T1、第二预设间隔时长T2、第三预设间隔时长T3和第四预设间隔时长T4,且0<T1<T2<T3<T4;
获取所述用户的历史平均成绩W0,根据所述历史平均成绩W0与各预设平均成绩之间的差值,确定相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长:
当W1≤W0<W2时,选定所述第一预设间隔时长T1作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W2≤W0<W3时,选定所述第二预设间隔时长T2作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W3≤W0<W4时,选定所述第三预设间隔时长T3作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W4≤W0时,选定所述第四预设间隔时长T4作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长。
通过根据用户的历史成绩对获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长进行调整,能够根据用户学习成绩,反馈出用户的学习能力以及学习态度,当用户学习能力以及学习态度较好时,则可适当减少数据采集次数,以降低数据采集量。
参阅图5所示,基于上述实施例的另一种优选的实施方式中,本实施方式提供了一种在线教育平台用的学习异常提醒系统,包括:
问题库模块,用于确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库;
数据采集模块,用于在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
处理模块,用于将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
所述处理模块还用于将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息。
结合图6所示,上述在线教育平台用的学习异常提醒系统与用户终端进行通信连接,以进行数据采集和传输。用户终端与在线教育平台建立通信后,在线教育平台即可以通过向用户终端发送数据请求,并在获取权限后,进行数据采集。
用户终端可以为手机、pc、平板或者台式机等设备。并且,用户在通过用户终端进行视频课程学习时,向用户发送提醒消息,使用户将终端设备固定放置于一固定位置处,避免用户移动终端设备。
具体而言,所述处理模块还用于当确定提取所述待解答问题,从所述待提取问题库中提取至少一所述待解答问题,包括:
在确定提取所述待解答问题后,确定所述实时面部特征信息采集时的时间节点,作为问题提取时间节点,并从所述待提取问题库中提取至少一个所述待解答问题,所述待解答问题所对应的时间节点位于所述问题提取时间节点之前,且提取的所述待解答问题所对应的时间节点距离所述问题提取时间节点最近。
具体而言,所述初始面部特征信息包括标准眨眼频率P0和初始眼部距离值L0。
具体而言,所述处理模块还用于在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,包括:
在所述用户选定所述待播放视频课程后,提示所述用户正视课程播放界面,并采集所述用户的初始面部图像数据,在所述初始面部图像数据中提取一初始图像帧,确定所述初始图像帧中的双眼的中心点,并获取左眼中心点与初始图像帧左侧边缘之间的间距L1,以及右眼中心点与初始图像帧右侧边缘之间的间距L2,将L1与L2的和作为所述初始眼部距离值L0,则L0=L1+L2。
具体而言,所述实时面部特征信息包括实时眨眼频率△P和实时眼部距离值△L0a。
具体而言,所述处理模块还用于在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息,包括:
在所述用户观看所述待播放视频课程中,实时采集所述用户的实时面部图像数据,并在所述实时面部图像数据中提取一图像帧,确定所述图像帧中的双眼的中心点,并获取左眼中心点与图像帧左侧边缘之间的间距△L01,以及右眼中心点与图像帧右侧边缘之间的间距△L02,将△L01与△L02的和作为实时眼部距离值△L0a,则△L0a=△L01+△L02;其中,
当从图像帧中仅能够获取左眼中心点时,则将右眼中心点与图像帧右侧边缘之间的间距△L02记为0,此时△L0a=△L01+0;
当从图像帧中仅能够获取右眼中心点时,则将左眼中心点与图像帧右侧边缘之间的间距△L01记为0,此时△L0a=0+△L02;
当从图像帧中无法获取左眼中心点和右眼中心点时,则将△L01和△L02均记为0,此时△L0a=0+0;
当所述用户在观看所述待播放视频课程时,实时确定所述用户的眨眼频率,以作为所述实时眨眼频率△P。
具体而言,所述处理模块还用于在将所述初始面部特征信息与所述实时面部特征信息进行对比,并根据比对结果确定是否提取所述待解答问题时,包括:
将所述用户的初始眼部距离值L0与所述实时眼部距离值△L0a进行比对,其中,
当△L0a≥L0时,将所述标准眨眼频率P0与所述实时眨眼频率△P进行比对,若△P<P0,则从所述问题库中提取所述待解答问题,若△P≥P0,则不提取所述待解答问题,继续播放所述待播放视频课程;
当△L0a<L0时,则直接从所述问题库中提取所述待解答问题。
具体而言,所述处理模块还用于当确定提取所述待解答问题,并从所述问题库中提取所述待解答问题,包括:
根据所述初始眼部距离值L0与所述实时眼部距离值△L0a之间的距离差值△m确定所述待解答问题的提取数量,具体为:
设定第一预设距离差值m1、第二预设距离差值m2、第三预设距离差值m3和第四预设距离差值m4,且m1<m2<m3<m4;设定第一预设待解答问题提取数量Q1、第二预设待解答问题提取数量Q2、第三预设待解答问题提取数量Q3和第四预设待解答问题提取数量Q4,且Q1<Q2<Q3<Q4,Q1~Q4为正整数;
根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量:
当△m<m1时,选定所述第一预设待解答问题提取数量Q1作为所述待解答问题的提取数量;
当m1≤△m<m2时,选定所述第二预设待解答问题提取数量Q2作为所述待解答问题的提取数量;
当m2≤△m<m3时,选定所述第三预设待解答问题提取数量Q3作为所述待解答问题的提取数量;
当m3≤△m<m4时,选定所述第四预设待解答问题提取数量Q4作为所述待解答问题的提取数量;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,i=1,2,3,4,则从所述问题库中提取Qi个问题作为所述待解答问题,提取的Qi个所述待解答问题所对应的时间节点在所述问题提取时间节点之前且距离所述问题提取时间节点最近。
具体而言,所述处理模块还用于当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,从所述问题库中提取Qi个问题作为所述待解答问题,包括:
将提取的Qi个所述待解答问题按照距离所述问题提取时间节点由远到近的顺序进行排序,并建立问题列表q,q(q1-t1,q2-t2,q3-t3,...,qn-tn),n=Qi,其中,q1为第一待解答问题,t1为q1提取时位于所述待播放视频课程中的时间节点,q2为第二待解答问题,t2为q2提取时位于所述待播放视频课程中的时间节点,q3为第三待解答问题,t3为q3提取时位于所述待播放视频课程中的时间节点,qn为第n待解答问题,tn为qn提取时位于所述待播放视频课程中的时间节点。
具体而言,所述处理模块还用于将所述待解答问题展示给用户,并提示用户进行答题,包括:
在将提取的Qi个所述待解答问题排序获取所述问题列表q后,由q1至qn依次将各个待解答问题推送给用户进行答题:
当所述用户将q1~qn均回答正确后,则继续播放所述待播放视频课程;
当所述用户按排序顺序答题至任意一待解答问题回答错误后,则不再推送后续未回答的待解答问题,并输出异常提醒信息,同时,将所述待播放视频课程调整至回答错误的待解答问题所对应的时间节点后,继续播放所述待播放视频课程。
具体而言,所述处理模块还用于在确定所述实时眼部距离值△L0a时,包括:
在采集所述用户的初始面部图像数据,并在根据所述初始面部图像数据获取所述初始眼部距离值L0后,确定所述初始图像帧的整体面积S01,并获取所述初始图像帧中的初始面部区域面积S02,确定所述整体面积S01与初始面部区域面积S02之间的初始面积比值Sa,且Sa=S02/S01;
在采集所述用户的实时面部图像数据,并在根据所述实时面部图像数据获取所述实时眼部距离值△L0a后,确定所述图像帧的整体面积S1,且S1=S01,并获取所述图像帧中的实时面部区域面积△S2,确定所述整体面积S1与实时面部区域面积△S2之间的实时面积比值△S,且△S=△S2/S1;
根据所述初始面积比值Sa和实时面积比值△S之间的差值,对所述实时眼部距离值△L0a进行调整,调整后的所述实时眼部距离值△L0a为:△L0a*(1+Sa-△S),根据调整后的所述实时眼部距离值△L0a确定是否提取所述待解答问题。
具体而言,所述处理模块还用于在获取所述实时眨眼频率△P和实时眼部距离值△L0a时,包括:
设定第一预设平均成绩W1、第二预设平均成绩W2、第三预设平均成绩W3和第四预设平均成绩W4,且W1<W2<W3<W4,其中,W1为及格成绩;设定第一预设间隔时长T1、第二预设间隔时长T2、第三预设间隔时长T3和第四预设间隔时长T4,且0<T1<T2<T3<T4;
获取所述用户的历史平均成绩W0,根据所述历史平均成绩W0与各预设平均成绩之间的差值,确定相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长:
当W1≤W0<W2时,选定所述第一预设间隔时长T1作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W2≤W0<W3时,选定所述第二预设间隔时长T2作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W3≤W0<W4时,选定所述第三预设间隔时长T3作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W4≤W0时,选定所述第四预设间隔时长T4作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长。
可以理解的是,上述各实施例中,通过确定在线教育平台内所有的视频课程,建立与视频课程相匹配的问题库,在用户登陆在线教育平台并选定待播放视频课程后,获取与待播放视频课程相匹配的问题库,在用户开始播放待播放视频课程前,采集用户的初始面部特征信息,并在用户观看待播放视频课程时,实时采集用户的实时面部特征信息,将初始面部特征信息与实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取待解答问题时,将待解答问题展示给用户,并提示用户进行答题,当用户回答正确时,则继续播放待播放视频课程,当用户回答错误时,则输出异常提醒信息。本发明通过建立与视频课程相匹配的问题库,并确定用户在学习过程中的实时面部特征变化,当变化较大时暂停视频课程播放,并进行问题弹窗,提示用户回答与已播放的视频课程相匹配的问题,当其回答正确时,则判断其学习状态正常,当回答错误时,则判断其学习状态异常,并进行异常提醒,从而使用户专心的进行视频课程的学习,以保证其学习效率。
可以看出,本发明能够在学生未认真学习时,及时有效的对学生学习过程中的异常状态进行提醒,以提醒学生认真地学习录播课程,不仅提高了学生的学习效率,还极大地提高了异常状态判断结果的准确性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (4)
1.一种在线教育平台用的学习异常提醒方法,其特征在于,包括:
确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库;
在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息;
当确定提取所述待解答问题,从所述待提取问题库中提取至少一所述待解答问题,包括:
在确定提取所述待解答问题后,确定所述实时面部特征信息采集时的时间节点,作为问题提取时间节点,并从所述待提取问题库中提取至少一个所述待解答问题,所述待解答问题所对应的时间节点位于所述问题提取时间节点之前,且提取的所述待解答问题所对应的时间节点距离所述问题提取时间节点最近;
所述初始面部特征信息包括标准眨眼频率P0和初始眼部距离值L0;
在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,包括:
在所述用户选定所述待播放视频课程后,提示所述用户正视课程播放界面,并采集所述用户的初始面部图像数据,在所述初始面部图像数据中提取一初始图像帧,确定所述初始图像帧中的双眼的中心点,并获取左眼中心点与初始图像帧左侧边缘之间的间距L1,以及右眼中心点与初始图像帧右侧边缘之间的间距L2,将L1与L2的和作为所述初始眼部距离值L0,则L0=L1+L2;
所述实时面部特征信息包括实时眨眼频率△P和实时眼部距离值△L0a;
在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息,包括:
在所述用户观看所述待播放视频课程中,实时采集所述用户的实时面部图像数据,并在所述实时面部图像数据中提取一图像帧,确定所述图像帧中的双眼的中心点,并获取左眼中心点与图像帧左侧边缘之间的间距△L01,以及右眼中心点与图像帧右侧边缘之间的间距△L02,将△L01与△L02的和作为实时眼部距离值△L0a,则△L0a=△L01+△L02;其中,
当从图像帧中仅能够获取左眼中心点时,则将右眼中心点与图像帧右侧边缘之间的间距△L02记为0,此时△L0a=△L01+0;
当从图像帧中仅能够获取右眼中心点时,则将左眼中心点与图像帧右侧边缘之间的间距△L01记为0,此时△L0a=0+△L02;
当从图像帧中无法获取左眼中心点和右眼中心点时,则将△L01和△L02均记为0,此时△L0a=0+0;
当所述用户在观看所述待播放视频课程时,实时确定所述用户的眨眼频率,以作为所述实时眨眼频率△P;
在将所述初始面部特征信息与所述实时面部特征信息进行对比,并根据比对结果确定是否提取所述待解答问题时,包括:
将所述用户的初始眼部距离值L0与所述实时眼部距离值△L0a进行比对,其中,
当△L0a≥L0时,将所述标准眨眼频率P0与所述实时眨眼频率△P进行比对,若△P<P0,则从所述问题库中提取所述待解答问题,若△P≥P0,则不提取所述待解答问题,继续播放所述待播放视频课程;
当△L0a<L0时,则直接从所述问题库中提取所述待解答问题;
当确定提取所述待解答问题,并从所述问题库中提取所述待解答问题,包括:
根据所述初始眼部距离值L0与所述实时眼部距离值△L0a之间的距离差值△m确定所述待解答问题的提取数量,具体为:
设定第一预设距离差值m1、第二预设距离差值m2、第三预设距离差值m3和第四预设距离差值m4,且m1<m2<m3<m4;设定第一预设待解答问题提取数量Q1、第二预设待解答问题提取数量Q2、第三预设待解答问题提取数量Q3和第四预设待解答问题提取数量Q4,且Q1<Q2<Q3<Q4,Q1~Q4为正整数;
根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量:
当△m<m1时,选定所述第一预设待解答问题提取数量Q1作为所述待解答问题的提取数量;
当m1≤△m<m2时,选定所述第二预设待解答问题提取数量Q2作为所述待解答问题的提取数量;
当m2≤△m<m3时,选定所述第三预设待解答问题提取数量Q3作为所述待解答问题的提取数量;
当m3≤△m<m4时,选定所述第四预设待解答问题提取数量Q4作为所述待解答问题的提取数量;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,i=1,2,3,4,则从所述问题库中提取Qi个问题作为所述待解答问题,提取的Qi个所述待解答问题所对应的时间节点在所述问题提取时间节点之前且距离所述问题提取时间节点最近;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,从所述问题库中提取Qi个问题作为所述待解答问题,包括:
将提取的Qi个所述待解答问题按照距离所述问题提取时间节点由远到近的顺序进行排序,并建立问题列表q,q(q1-t1,q2-t2,q3-t3,...,qn-tn),n=Qi,其中,q1为第一待解答问题,t1为q1提取时位于所述待播放视频课程中的时间节点,q2为第二待解答问题,t2为q2提取时位于所述待播放视频课程中的时间节点,q3为第三待解答问题,t3为q3提取时位于所述待播放视频课程中的时间节点,qn为第n待解答问题,tn为qn提取时位于所述待播放视频课程中的时间节点;
将所述待解答问题展示给用户,并提示用户进行答题,包括:
在将提取的Qi个所述待解答问题排序获取所述问题列表q后,由q1至qn依次将各个待解答问题推送给用户进行答题:
当所述用户将q1~qn均回答正确后,则继续播放所述待播放视频课程;
当所述用户按排序顺序答题至任意一待解答问题回答错误后,则不再推送后续未回答的待解答问题,并输出异常提醒信息,同时,将所述待播放视频课程调整至回答错误的待解答问题所对应的时间节点后,继续播放所述待播放视频课程。
2.根据权利要求1所述的在线教育平台用的学习异常提醒方法,其特征在于,在确定所述实时眼部距离值△L0a时,包括:
在采集所述用户的初始面部图像数据,并在根据所述初始面部图像数据获取所述初始眼部距离值L0后,确定所述初始图像帧的整体面积S01,并获取所述初始图像帧中的初始面部区域面积S02,确定所述整体面积S01与初始面部区域面积S02之间的初始面积比值Sa,且Sa=S02/S01;
在采集所述用户的实时面部图像数据,并在根据所述实时面部图像数据获取所述实时眼部距离值△L0a后,确定所述图像帧的整体面积S1,且S1=S01,并获取所述图像帧中的实时面部区域面积△S2,确定所述整体面积S1与实时面部区域面积△S2之间的实时面积比值
△S,且△S=△S2/S1;
根据所述初始面积比值Sa和实时面积比值△S之间的差值,对所述实时眼部距离值△L0a进行调整,调整后的所述实时眼部距离值△L0a为:△L0a*(1+Sa-△S),根据调整后的所述实时眼部距离值△L0a确定是否提取所述待解答问题。
3.根据权利要求1所述的在线教育平台用的学习异常提醒方法,其特征在于,在获取所述实时眨眼频率△P和实时眼部距离值△L0a时,包括:
设定第一预设平均成绩W1、第二预设平均成绩W2、第三预设平均成绩W3和第四预设平均成绩W4,且W1<W2<W3<W4,其中,W1为及格成绩;设定第一预设间隔时长T1、第二预设间隔时长T2、第三预设间隔时长T3和第四预设间隔时长T4,且0<T1<T2<T3<T4;
获取所述用户的历史平均成绩W0,根据所述历史平均成绩W0与各预设平均成绩之间的差值,确定相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长:
当W1≤W0<W2时,选定所述第一预设间隔时长T1作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W2≤W0<W3时,选定所述第二预设间隔时长T2作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W3≤W0<W4时,选定所述第三预设间隔时长T3作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长;
当W4≤W0时,选定所述第四预设间隔时长T4作为相邻两次获取所述实时眨眼频率△P和实时眼部距离值△L0a时的间隔时长。
4.一种在线教育平台用的学习异常提醒系统,其特征在于,包括:
问题库模块,用于确定在线教育平台内所有的视频课程,并建立与所述视频课程相匹配的问题库,在用户登陆所述在线教育平台并选定待播放视频课程后,从所述问题库中获取与所述待播放视频课程相匹配的待提取问题库;
在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息;
当确定提取所述待解答问题,从所述待提取问题库中提取至少一所述待解答问题,包括:
在确定提取所述待解答问题后,确定所述实时面部特征信息采集时的时间节点,作为问题提取时间节点,并从所述待提取问题库中提取至少一个所述待解答问题,所述待解答问题所对应的时间节点位于所述问题提取时间节点之前,且提取的所述待解答问题所对应的时间节点距离所述问题提取时间节点最近;
所述初始面部特征信息包括标准眨眼频率P0和初始眼部距离值L0;
数据采集模块,用于在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,并在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息;
在所述用户开始播放所述待播放视频课程前,采集所述用户的初始面部特征信息,包括:
在所述用户选定所述待播放视频课程后,提示所述用户正视课程播放界面,并采集所述用户的初始面部图像数据,在所述初始面部图像数据中提取一初始图像帧,确定所述初始图像帧中的双眼的中心点,并获取左眼中心点与初始图像帧左侧边缘之间的间距L1,以及右眼中心点与初始图像帧右侧边缘之间的间距L2,将L1与L2的和作为所述初始眼部距离值L0,则L0=L1+L2;
所述实时面部特征信息包括实时眨眼频率△P和实时眼部距离值△L0a;
在所述用户观看所述待播放视频课程时,实时采集所述用户的实时面部特征信息,包括:
在所述用户观看所述待播放视频课程中,实时采集所述用户的实时面部图像数据,并在所述实时面部图像数据中提取一图像帧,确定所述图像帧中的双眼的中心点,并获取左眼中心点与图像帧左侧边缘之间的间距△L01,以及右眼中心点与图像帧右侧边缘之间的间距△L02,将△L01与△L02的和作为实时眼部距离值△L0a,则△L0a=△L01+△L02;其中,
当从图像帧中仅能够获取左眼中心点时,则将右眼中心点与图像帧右侧边缘之间的间距△L02记为0,此时△L0a=△L01+0;
当从图像帧中仅能够获取右眼中心点时,则将左眼中心点与图像帧右侧边缘之间的间距△L01记为0,此时△L0a=0+△L02;
当从图像帧中无法获取左眼中心点和右眼中心点时,则将△L01和△L02均记为0,此时△L0a=0+0;
当所述用户在观看所述待播放视频课程时,实时确定所述用户的眨眼频率,以作为所述实时眨眼频率△P;
在将所述初始面部特征信息与所述实时面部特征信息进行对比,并根据比对结果确定是否提取所述待解答问题时,包括:
将所述用户的初始眼部距离值L0与所述实时眼部距离值△L0a进行比对,其中,
当△L0a≥L0时,将所述标准眨眼频率P0与所述实时眨眼频率△P进行比对,若△P<P0,则从所述问题库中提取所述待解答问题,若△P≥P0,则不提取所述待解答问题,继续播放所述待播放视频课程;
当△L0a<L0时,则直接从所述问题库中提取所述待解答问题;
处理模块,用于将所述初始面部特征信息与所述实时面部特征信息进行对比,根据比对结果确定是否提取待解答问题,当确定提取所述待解答问题时,从所述待提取问题库中提取至少一所述待解答问题;
当确定提取所述待解答问题,并从所述问题库中提取所述待解答问题,包括:
根据所述初始眼部距离值L0与所述实时眼部距离值△L0a之间的距离差值△m确定所述待解答问题的提取数量,具体为:
设定第一预设距离差值m1、第二预设距离差值m2、第三预设距离差值m3和第四预设距离差值m4,且m1<m2<m3<m4;设定第一预设待解答问题提取数量Q1、第二预设待解答问题提取数量Q2、第三预设待解答问题提取数量Q3和第四预设待解答问题提取数量Q4,且Q1<Q2<Q3<Q4,Q1~Q4为正整数;
根据所述距离差值△m与各预设距离差值之间的关系确定所述待解答问题的提取数量:
当△m<m1时,选定所述第一预设待解答问题提取数量Q1作为所述待解答问题的提取数量;
当m1≤△m<m2时,选定所述第二预设待解答问题提取数量Q2作为所述待解答问题的提取数量;
当m2≤△m<m3时,选定所述第三预设待解答问题提取数量Q3作为所述待解答问题的提取数量;
当m3≤△m<m4时,选定所述第四预设待解答问题提取数量Q4作为所述待解答问题的提取数量;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,i=1,2,3,4,则从所述问题库中提取Qi个问题作为所述待解答问题,提取的Qi个所述待解答问题所对应的时间节点在所述问题提取时间节点之前且距离所述问题提取时间节点最近;
当选定第i预设待解答问题提取数量Qi作为所述待解答问题的提取数量后,从所述问题库中提取Qi个问题作为所述待解答问题,包括:
将提取的Qi个所述待解答问题按照距离所述问题提取时间节点由远到近的顺序进行排序,并建立问题列表q,q(q1-t1,q2-t2,q3-t3,...,qn-tn),n=Qi,其中,q1为第一待解答问题,t1为q1提取时位于所述待播放视频课程中的时间节点,q2为第二待解答问题,t2为q2提取时位于所述待播放视频课程中的时间节点,q3为第三待解答问题,t3为q3提取时位于所述待播放视频课程中的时间节点,qn为第n待解答问题,tn为qn提取时位于所述待播放视频课程中的时间节点;
将所述待解答问题展示给用户,并提示用户进行答题,包括:
在将提取的Qi个所述待解答问题排序获取所述问题列表q后,由q1至qn依次将各个待解答问题推送给用户进行答题:
当所述用户将q1~qn均回答正确后,则继续播放所述待播放视频课程;
当所述用户按排序顺序答题至任意一待解答问题回答错误后,则不再推送后续未回答的待解答问题,并输出异常提醒信息,同时,将所述待播放视频课程调整至回答错误的待解答问题所对应的时间节点后,继续播放所述待播放视频课程,
所述处理模块还用于将所述待解答问题展示给用户,并提示用户进行答题,当所述用户回答正确时,则继续播放所述待播放视频课程,当所述用户回答错误时,则输出异常提醒信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912912.0A CN114971975B (zh) | 2022-07-31 | 2022-07-31 | 在线教育平台用的学习异常提醒方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912912.0A CN114971975B (zh) | 2022-07-31 | 2022-07-31 | 在线教育平台用的学习异常提醒方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114971975A CN114971975A (zh) | 2022-08-30 |
CN114971975B true CN114971975B (zh) | 2022-11-01 |
Family
ID=82969880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210912912.0A Active CN114971975B (zh) | 2022-07-31 | 2022-07-31 | 在线教育平台用的学习异常提醒方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114971975B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117423131A (zh) * | 2023-10-18 | 2024-01-19 | 广东融粤宝信息科技有限公司 | 一种基于云计算的远程教育系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021077382A1 (zh) * | 2019-10-25 | 2021-04-29 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070020604A1 (en) * | 2005-07-19 | 2007-01-25 | Pranaya Chulet | A Rich Media System and Method For Learning And Entertainment |
CN104835356B (zh) * | 2015-05-31 | 2016-07-13 | 深圳市采集科技有限公司 | 一种学生听讲专注度的测量方法及系统 |
CN108492648A (zh) * | 2018-03-16 | 2018-09-04 | 何戴娆 | 一种远程在线教学学生状态确定方法及系统 |
CN111563702B (zh) * | 2020-06-24 | 2022-08-19 | 重庆电子工程职业学院 | 一种课堂教学互动系统 |
-
2022
- 2022-07-31 CN CN202210912912.0A patent/CN114971975B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021077382A1 (zh) * | 2019-10-25 | 2021-04-29 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN114971975A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633719B (zh) | 基于多语种人机交互的拟人形象人工智能教学系统和方法 | |
CN107958351A (zh) | 教学质量评估云服务平台 | |
CN113781853B (zh) | 基于终端的师生远程互动教育平台 | |
CN110164213A (zh) | 一种基于ai视频分析的多终端远程教育培训系统 | |
CN109889881B (zh) | 一种教师课堂教学数据采集系统 | |
CN111402439B (zh) | 一种基于人脸识别的在线培训到课率统计管理方法及系统 | |
CN114971975B (zh) | 在线教育平台用的学习异常提醒方法及系统 | |
CN108777087A (zh) | 一种基于云服务器的远程教育系统 | |
CN109240786A (zh) | 一种主题更换方法及电子设备 | |
CN110827595A (zh) | 虚拟教学中的互动方法、装置及计算机存储介质 | |
CN112887790A (zh) | 一种视频快速交互与播放的方法 | |
CN111353439A (zh) | 一种教学行为的分析方法、装置、系统及设备 | |
CN113505604B (zh) | 一种用于心理学教育的在线辅助实验方法、装置及设备 | |
CN110660285A (zh) | 场景自适应的定制化智能培训方法及系统 | |
CN110807960A (zh) | 基于互联网的辅助教学系统 | |
CN114429412A (zh) | 一种职业教育数字化教学内容生产系统 | |
CN110796577A (zh) | 基于智慧班牌的信息显示方法 | |
CN115937961A (zh) | 一种线上学习识别方法及设备 | |
CN112331003B (zh) | 一种基于差异化教学的习题生成方法和系统 | |
CN114724229A (zh) | 在线教育平台用的学习状态检测系统及方法 | |
CN114202155A (zh) | 一种线上学习方法、系统和计算机可读存储介质 | |
CN113268295A (zh) | 基于虚拟现实场景的生物课程教学方法 | |
CN113269667A (zh) | 错题推送方法、装置及电子设备 | |
CN114580882A (zh) | 一种面向混合式教学方法的授课效果评估系统及方法 | |
CN114936952A (zh) | 一种数字化教育互联网学习系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |