CN108304793B - 在线学习分析系统及方法 - Google Patents

在线学习分析系统及方法 Download PDF

Info

Publication number
CN108304793B
CN108304793B CN201810078792.2A CN201810078792A CN108304793B CN 108304793 B CN108304793 B CN 108304793B CN 201810078792 A CN201810078792 A CN 201810078792A CN 108304793 B CN108304793 B CN 108304793B
Authority
CN
China
Prior art keywords
image
expression
user
key point
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810078792.2A
Other languages
English (en)
Other versions
CN108304793A (zh
Inventor
姜文强
宫熙禹
阎晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN201810078792.2A priority Critical patent/CN108304793B/zh
Publication of CN108304793A publication Critical patent/CN108304793A/zh
Application granted granted Critical
Publication of CN108304793B publication Critical patent/CN108304793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种在线学习分析系统及方法，所述系统包括：图像采集装置，适于采集用户的图像；图像处理装置，适于对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；疑惑时段确定装置，适于根据所述疑惑表情的图像的时刻，确定疑惑时段；课程视频确定装置，适于根据所述疑惑时段，确定疑问课程视频；信息推送装置，适于将所述疑问课程视频的内容推送至所述用户。采用所述系统及方法，可以提高在线学习的学习质量。

Description

在线学习分析系统及方法
技术领域
本发明实施例涉及在线教育领域，尤其涉及一种在线学习分析系统及方法。
背景技术
在线学习是指在由通讯技术、微电脑技术、计算机技术、人工智能、网络技术和多媒体技术等所构成的电子环境中进行的学习，是基于技术的学习。由于在线学习具有不受时间，地点，空间的限制，并且可以实现和现实当中一样的互动，因此应用越来越广泛。
现有的在线学习系统，通过让学生观看直播、回放等方式实现教学，但不具备监督学生学习过程的功能，学生完全可以在直播课的时候做其他的事情，或者在电脑前溜号走神。
让学生在课程中间输入验证码，可以在一定程度上解决学生走神的问题，但是仍然没法实施掌握学生课堂上的学习状态，从而影响了在线学习的学习质量。
因此，如何提高在线学习的学习质量，成为亟需解决的技术问题。
发明内容
本发明实施例解决的技术问题是提供一种在线学习系统和方法，以提高在线学习过程中的学习质量。
为解决上述问题，本发明实施例提供一种在线学习分析系统，包括：
图像采集装置，适于采集用户的图像；
图像处理装置，适于对图像进行处理，获得图像内的用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
疑惑时段确定装置，适于根据疑惑表情的图像，确定疑惑时段；
课程视频确定装置，适于根据疑惑时段，确定疑问课程视频；
信息推送装置，适于将所述疑问课程视频的内容推送至所述用户。
可选地，所述图像处理装置包括：
尺寸调整单元，适于对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
可选地，所述尺寸调整单元利用卷积神经网络对所述图像进行尺寸调整处理。
可选地，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
可选地，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
可选地，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。
可选地，所述图像处理装置包括：
人脸关键点检测单元，适于利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸关键点包括眼部关键点和嘴部关键点。
可选地，所述图像处理装置还包括：
灰度图像获取单元，适于利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述人脸关键点检测单元，适于利用所述关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用所述表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述图像处理装置还包括：
人脸轮廓检测单元，适于用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述人脸关键点检测单元，适于利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述图像处理装置还包括：
瞳孔位置计算单元，适于根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
表情验证单元，适于根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的疑惑表情的图像；
所述疑惑时段确定装置，适于根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
可选地，还包括：
文本解析装置，适于对所述课程视频确定装置所得到的所述疑问课程视频进行解析，得到疑问解析文本；
所述信息推送装置，适于将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，所述文本解析装置包括：
课程视频图像采集单元，适于采集所述疑问课程视频图像，得到疑问课程图像；
信息解析单元，适于利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
可选地，还包括：
去重装置，适于对所述文本解析装置所得到的所述疑问解析文本中的重复信息进行去重处理；
所述信息推送装置，适于将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，还包括：
关联知识收集装置，适于根据所述课程视频确定装置所得到的所述疑问课程视频，收集关联知识；
所述信息推送装置，适于将所述关联知识推送至所述用户。
可选地，所述疑惑时段确定装置，适于统计时间阈值内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段。
为解决所述问题，本发明还提供一种在线学习分析方法，包括：
采集用户的图像；
对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；
根据所述疑惑表情的图像的时刻，确定疑惑时段；
根据所述疑惑时段，确定疑问课程视频；
将所述疑问课程视频的内容推送至所述用户。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，包括：
对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
可选地，对所述图像进行尺寸调整处理，包括利用卷积神经网络对所述图像进行尺寸调整处理。
可选地，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
可选地，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
可选地，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。可选地，对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸关键点包括眼部关键点和嘴部关键点。
可选地，所述关键点检测算法为关键点检测深度学习算法。
可选地，所述关键点检测深度学习算法的激活函数为双曲正切函数加绝对值函数。
可选地，所述表情识别算法为表情识别深度学习算法。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸检测算法为深度学习人脸检测算法。
可选地，所述深度学习人脸检测算法为全卷积网络。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的所述疑惑表情的图像；
所述根据所述疑惑表情的图像的时刻，确定疑惑时段，包括根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
可选地，在将所述疑问课程视频的内容推送至所述用户之前，还包括：对所确定的所述疑问课程视频进行解析，得到疑问解析文本；
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，所述确定疑问解析文本步骤包括：
采集所述疑问课程视频的图像，得到疑问课程图像；
利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
可选地，所述预设的字符识别算法为深度学习光学字符识别算法。
可选地，在将所述疑问课程视频的内容推送至所述用户之前，还包括：
对所述疑问解析文本中的重复信息进行去重处理，
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户包括，将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，还包括：根据所确定的所述疑问课程视频，收集关联知识，将所述关联知识推送至所述用户。
可选地，所述根据所述疑惑表情的图像的时刻，确定疑惑时段，包括：统计时间阈值时段内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段。
与现有技术相比，本发明的技术方案具有以下优点：
采用本发明实施例所提供的在线学习分析系统及方法，在在线学习进行的过程中不断采集用户的图像，并对采集的用户图像进行处理，获取图像中的用户表情类别中的实际种类，从中能够得到实际种类为疑惑表情的图像，进而可以根据疑惑表情的图像来确定疑惑时段，对应所得到的疑惑时段，可以确定疑问课程视频，进而可以将疑问课程视频的相关内容推送给用户。其中，对图像的处理，得到采集的图像中的用户表情类别中的实际种类，筛选出其中实际种类为疑惑表情的图像，也就是在上述图像的采集时刻，用户对所学知识存在疑惑的可能，对应图像的时间就可以得到疑问课程视频的内容，再将疑问课程视频的内容推送给相应的用户，从而不仅可以了解到用户在在线学习期间的学习状态，而且能够准确找到用户疑问的知识点，并将疑问的知识点以推送的方式提供给用户，以保证用户能够在课堂后有针对性的学习，进而提高了在线学习的学习质量。
可选方案中，卷积神经网络通过底层特征图的尺寸和感受野的尺寸逐层累积计算得到尺寸调整处理后的特征图的尺寸，进而确定卷积神经网络的层数，通过感受野倒推的方式确定所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率，同时也在满足识别要求的基础上，尽可能减小特征图的尺寸，提高了图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
附图说明
图1是本发明实施例一种在线学习分析系统的结构示意图；
图2是本发明实施例另一种在线学习分析系统的结构示意图；
图3是本发明实施例另一种在线学习分析系统的结构示意图；
图4是本发明实施例另一种在线学习分析系统的结构示意图；
图5是本发明实施例另一种在线学习分析系统的结构示意图；
图6是本发明实施例另一种在线学习分析系统的结构示意图；
图7是本发明实施例另一种在线学习分析系统的结构示意图；
图8是本发明实施例另一种在线学习分析系统的结构示意图；
图9是本发明实施例另一种在线学习分析系统的结构示意图；
图10是本发明实施例一种在线学习分析方法的流程图；
图11是本发明实施例另一种在线学习分析方法的流程图；
图12是是本发明实施例另一种在线学习分析方法的流程图；
图13是本发明实施例又一种在线学习分析方法的流程图；
图14是本发明实施例再一种在线学习分析方法的流程图；
图15是本发明实施例另一种在线学习分析方法的流程图；
图16是本发明实施例另一种在线学习分析方法的流程图；
图17是本发明实施例另一种在线学习分析方法的流程图；
图18是本发明实施例另一种在线学习分析方法的流程图。
具体实施方式
由背景技术可知，现有技术的在线学习系统，不能很好地把握用户的课堂状态，也难以保证在线学习的学习质量。
为了能够提高在线学习的学习质量，本发明提供了一种在线学习分析系统和方法，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例中一种在线学习分析系统的结构示意图。如图1所示，本发明实施例所提供的在线学习分析系统，包括图像采集装置11、图像处理装置12、疑惑时段确定装置13、课程视频确定装置14和信息推送装置15，其中：图像采集装置11，适于采集用户的图像；图像处理装置12，适于对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；疑惑时段确定装置13，适于根据所述疑惑表情的图像的时刻，确定疑惑时段；课程视频确定装置14，适于根据所述疑惑时段，确定疑问课程视频；信息推送装置15，适于将所述疑问课程视频的内容推送至所述用户。
在用户进行在线学习时，图像采集装置11可以实时采集用户的图像，然后将采集到的图像传输至图像处理装置12，以对图像进行处理，获取图像中用户表情类别(比如无表情、开心、疑惑、愤怒等)中的实际种类，当得到图像中用户表情类别中的实际种类为疑惑表情时，将该图像筛选出来，疑惑时段确定装置13根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置14就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置15再将与疑问课程视频相关的内容推送到对应的用户。
在具体实施中，图像采集装置11可以是安装于用户端的设备(比如手机、电脑等)上的摄像头等。
在具体实施中，图像采集装置11具体采集频率可以根据需要设定，比如1秒/次。在本发明一实施例中，可以选择图像采集装置11的采集频率为1秒/次至5秒/次之间的频率。在该频率范围内采集，不仅能够满足图像分析的需要，而且图片数量适中，降低在线学习分析系统的运算量，当然，其他采集频率或者可变的采集频率，只要能够保证分析需要，都是可以的。
可以理解的是，信息推送装置15所推送的疑问课程视频的内容可以有多种形式，例如可以为所摘取的对应时段的视频、视频相关图像、视频解析文本或者与视频所讲述内容相关的其他资料文件。另外，推送至用户的具体方式可以是发送至用户的邮箱，也可以通过相应的客户端或用户界面推送。
以下通过一具体应用场景说明本发明实施例的在线学习系统的工作原理：
在线学习的时间为45分钟，从在线学习系统的开启开始计时，同时，图像采集装置11开始实时采集用户的图像，并传输至图像处理装置12进行分析处理，由图像处理装置12确定图像中的用户表情类别中的实际种类，若有图像经分析得到其中用户表情的实际种类为疑惑表情，则进一步由疑惑时段确定装置13确定该图像的拍摄时间，假设为从计时开始的第5分35秒至第10分所拍摄的多张图像均为疑惑表情图像，则把该时间信息传输至课程视频确定装置14，课程视频确定装置14根据所得到的时间，从全部课程视频中，确定出从计时开始的第5分35秒至第10分的视频，即疑问课程视频，然后信息推送装置15将与疑问课程视频的内容推送给相应用户。
可见，采用本发明实施例的在线学习分析系统，通过对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像，进而得到图像的采集时刻，并由采集时刻得到对应的课程视频内容，再将其进行推送，从而不仅可以了解到用户在在线学习期间的学习状态，对学习过程有一个了解和把握，而且能够准确找到用户疑问的知识点，并将有疑问的疑问课程视频以推送的方式提供给用户，以保证用户能够在课堂后进行针对性的学习，进而提高在线学习的学习质量。
请参考图2-图5，图2是本发明实施例中另一种在线学习分析系统的结构示意图；图3是本发明实施例中另一种在线学习分析系统的结构示意图；图4是本发明实施例中另一种在线学习分析系统的结构示意图；图5是本发明实施例中另一种在线学习分析系统的结构示意图。
如图2所示，在一种具体实施例中，图像处理装置包括尺寸调整单元227，适于对图像进行尺寸调整处理，得到尺寸调整处理后的特征图，后续仅需要对尺寸调整处理后的特征图进行相关处理，获取图像内的用户表情类别中的实际种类，进而得出实际种类为疑惑表情的图像。通过对图像的尺寸处理，可以提高后续运算的效率。
具体地，本发明通过卷积神经网络实现对图像的尺寸调整处理，以在满足识别要求的基础上，尽可能减小特征图的尺寸，提高图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
经运算得知，尺寸调整处理后的特征图的尺寸最小为46×46像素点，再大也可以，但会造成一定程度的运算量的增加，如果再小，则会影响图像后续检测识别的效果。
具体地，卷积神经网络的层数是通过感受野倒推的方式获得的，也就是首先确定底层特征图的尺寸和相邻两层间感受野的尺寸，然后通过逐层累积的方式，计算得到所要的尺寸调整处理后的特征图的尺寸，这样就可以知道对图像进行处理，要得到尺寸调整处理后的特征图的尺寸，所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率。本文所述的感受野是指卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小。
具体地，可以设定底层特征图的尺寸为1×1像素点或者3×3像素点，感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层，以获得较低的运算量。
当然，尺寸调整处理后的特征图的尺寸为46×46像素点也可以通过其他的方式得到，并不限于上文所述的感受野倒推的方式。
具体地，本发明实施例所提供的在线学习分析系统的图像处理装置22还包括人脸关键点检测单元221和表情分析单元222，关键点检测单元221接收尺寸调整单元处理后的尺寸调整处理后的特征图，然后利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值；表情分析单元222利用表情识别算法对人脸关键点坐标差值(比如眼睛上下边缘差值、两嘴角差值)和尺寸调整处理后的特征图中的至少一者进行识别，获得用户表情类别中的实际种类。
从而，图像采集装置21采集图像，经图像处理装置22处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置23根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置24就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置25再将与疑问课程视频相关的内容推送到对应的用户。
这样，通过对人脸关键点坐标差值或者尺寸调整处理后的特征图本身二者中至少一者的识别，可以提高识别的准确性，另一方面，在识别过程中，对人脸关键点坐标差值的计算量也大大小于对人脸关键点的计算量，且准确性更高。
在具体实施例中，人脸关键点可以包括眼部关键点和嘴部关键点。在不同表情类别下，人的嘴部(比如：嘴角、上下唇边)和眼部(比如：眼球、眼眶、眉毛)的位置变化明显，对这些关键点的检测和分析能大大提高分析结果的准确性，当然人脸关键点也可以包括人脸其他部位的关键点。
在具体实施例中，所采用的关键点检测算法可以为关键点检测深度学习算法，表情识别算法为表情识别深度学习算法，二者均可以提高分析的准确性。
另一方面，请参考图3，为了提高图像处理的运算速率，本发明所提供的在线学习分析系统的图像处理装置32还包括灰度图像获取单元328，接收尺寸调整单元327输出的尺寸调整处理后的特征图，利用灰度处理算法对尺寸调整处理后的特征图进行灰度处理，得到灰度图像；人脸关键点检测单元321，利用关键点检测算法对灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；表情分析单元322，利用表情识别算法对人脸关键点坐标差值和灰度图像二者中的至少一者进行算法识别，获得用户表情类别中的实际种类。使用灰度图像进行运算去掉了很多颜色噪声，同时灰度图像只有一个通道，这样大大降低了计算量，使模型运行的速度更快。
从而，图像采集装置31采集图像，经图像处理装置32处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置33根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置34就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置35再将与疑问课程视频相关的内容推送到对应的用户。
如图4所示，为提高图片分析的准确性，图像处理装置42还可以包括人脸轮廓检测单元423，以用人脸检测算法对图像采集装置41采集的图像进行检测，得到人脸外接矩形坐标，并根据外接矩形坐标得到人脸矩形图像，进而人脸关键点检测单元421利用关键点检测算法对人脸轮廓检测单元423获得的人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值，而表情分析单元422则利用表情识别算法对人脸关键点坐标差值和人脸矩形图像中的至少一者进行算法识别，获得用户表情类别中的实际种类，在对图像进行处理时，先利用人脸轮廓检测单元423获得人脸矩形图像，然后再对人脸矩形图像进行后续处理，去除了不必要的背景噪声。
图像采集装置41采集的图像，经图像处理装置42处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置43根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置44就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置45再将与疑问课程视频相关的内容推送到对应的用户。
为提高检测准确性，人脸检测算法可以为深度学习人脸检测算法，比如卷积神经网络算法。
前述的图像处理的结果都是对图像中用户的表情类别的实际种类的识别，而并没有判断图像中的用户表情是不是用户对在线学习的内容做出的反应，这样如果用户在看到别的信息后表现出了疑惑表情，也会被认为是对学习内容的疑惑，为获取这部分数据，如图5所示，在具体实施中，图像处理装置52还可以包括瞳孔位置计算单元525，接收经过尺寸调整单元527、人脸关键点检测单元521处理得到的人脸关键点的眼部关键点的坐标，计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置，然后表情验证单元526会结合瞳孔位置，验证表情分析单元522所得到的疑惑表情的图像中的疑惑表情是否由于在线学习的内容引起的，得到验证后的疑惑表情的图像，从而进一步提高了判断的准确性，而疑惑时段确定装置53则根据验证后的疑惑表情的图像的时刻确定疑惑时段。
这样，图像采集装置51采集的图像，经图像处理装置52处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置53根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置54就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置55再将与疑问课程视频相关的内容推送到对应的用户。
当然前述各个对于图像进行处理的单元，可以在一个在线学习分析系统中根据需要进行组合设置，以满足图像处理的需要。
请参考图6和图7，图6是本发明实施例中另一种在线学习分析系统的结构示意图；图7是本发明实施例中另一种在线学习分析系统的结构示意图。
在具体实施中，本发明实施例中的在线学习分析系统还可以包括：文本解析装置66，将课程视频确定装置64所得到的疑问课程视频进行解析，得到疑问解析文本。
图像采集装置61采集的图像，经图像处理装置62处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置63根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置64就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置66将疑问课程视频进行解析，得到疑问解析文本，信息推送装置65将所得到的疑问解析文本推送至对应的用户。
采用文本解析装置66将疑问课程视频文件进行解析得到相应文本，并将所得到的疑问解析文本作为疑问课程视频内容推送至用户，可以节约传输资源。
在本发明一实施例中，如图7所示，文本解析装置76可以包括课程视频图像采集单元761和信息解析单元762。其中，课程视频图像采集单元761，适于采集疑问课程视频图像，得到疑问课程图像，信息解析单元762，适于利用预设的字符识别算法解析疑问课程图像，得到疑问解析文本。
图像采集装置71采集的图像，经图像处理装置72处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置73根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置74就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置76将疑问课程视频进行解析，得到疑问解析文本，信息推送装置75将所得到的疑问解析文本推送至对应的用户。
在具体实施中，可以对确定好的疑问课程视频按照一定的频率采集图像，然后再对图像进行字符识别得到疑问解析文本，通过将视频分解为多个图像的方式进行解析，从而可以大大降低了视频解析的难度。
在具体实施中，预设的字符识别算法可以为光学字符识别(Optical CharacterRecognition，OCR)算法。例如，可以为深度学习OCR算法，该识别算法进一步提高解析文本的准确性。
请参考图8，图8是本发明实施例中另一种在线学习分析系统的结构示意图。
由于经过解析后的文本，可能所涉及的具体知识有重复的，这将直接影响用户的参考感受，亦造成传输资源浪费。为此，在本发明一实施例中，在线学习分析系统还包括去重装置87，以对文本解析装置86所得到的疑问解析文本中的重复信息进行去重处理；信息推送装置85则将去重处理后的疑问解析文本推送至用户。
图像采集装置81采集的图像，经图像处理装置82处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置83根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置84就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置86将疑问课程视频进行解析，得到疑问解析文本，去重装置87对疑问解析文本中的重复信息进行去重处理，信息推送装置75将去重处理后的疑问解析文本推送至用户。
需要说明的是，本文所述的去重处理可以包含除了简单的去重以外的提炼、归纳等处理，以提高所得到的疑问解析文本的质量。
在具体实施中，除了将疑问课程视频或者疑问解析文本推送至用户，还可以将其他与疑问课程视频所涵盖的知识点相关的其他资料推送至用户，如图9所示，图9是本发明实施例中再一种在线学习分析系统的结构示意图，在本发明一实施例中，在线学习分析系统还包括关联知识收集装置98，适于根据课程视频确定装置94所得到的疑问课程视频，收集关联知识；进而将关联知识推送至用户，这样用户可以得到更多的经过筛选的与用户所欠缺的知识相对应的资料，从而可以进一步提高学习质量。
图像采集装置91采集的图像，经图像处理装置92处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置93根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置94就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，关联知识收集装置98疑问课程视频，收集关联知识，信息推送装置95将关联知识推送至用户。
具体，关联知识的推送可以与疑问课程视频的内容一同推送，也可以分别推送，分别推送时，先后顺序也可以根据需要自行调整。
可以理解的是，文本解析装置、去重装置以及关联知识收集装置98等其中至少两个可以同时设置在在线学习分析系统中。
在具体实施中，为了提高对于疑惑时段确定的准确性，可以确定一个时间阈值，相应地，疑惑时段确定装置93，统计时间阈值内各表情实际种类的图像数量，将进行各实际种类的比较，当疑惑表情的数量高于其他各个实际种类的图像数量时，将该时间阈值作为疑惑时段。
比如，可以设置时间阈值为5分钟，那么随着时间的推移分别对每个5分钟内的各表情的实际种类的图像进行统计，如果疑惑表情的图像数量最高，则将其定为疑惑时段，最终确定下哪几个时间阈值为疑惑时段。
由于统计的是时间阈值内的多个图像中的表情的实际种类，这就大大降低了单个图像所带来的偏差而造成的误差，从而提高了识别的准确性，并且随着时间的推移，不断进行时间阈值范围内的数据的更新，各个图像进行了多次统计，可以降低统计偏差，进一步提高准确性。
除了上述在线学习分析系统，为解决所述问题，本发明实施例还提供了相应的在线学习分析方法。为使本领域技术人员更好地理解和实现，以下参照附图进行详细说明。
图10是本发明实施例中一种在线学习分析方法的流程图。
如图10所示，本发明实施例的在线学习方法可以包括以下步骤：
步骤S11：采集用户的图像。
采集用户的图像，可以为后续的图像处理等步骤提供初始材料，具体采集用户图像的装置可以是安装于用户端的设备(比如手机、电脑等)上的摄像头等等，此步骤随着在线学习的开启而开启。
具体采集频率可以根据需要设定，比如1秒/次，具体可以选择1秒/次至5秒/次之间的频率，在该频率范围内采集，不仅能够满足图像分析的需要，而且图片数量适中，降低在线学习分析系统的运算量，当然，其他采集频率或者可变的采集频率，只要能够保证分析需要，都是可以的。
步骤S12：对图像进行处理，获得图像内的用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像。
在得到用户的图像后，对图像进行处理，获取图像中用户表情是用户表情类别(比如无表情、开心、疑惑、愤怒等)中的哪一种，得到实际种类，并筛选得到实际种类为疑惑表情的图像。
步骤S13：根据疑惑表情的图像，确定疑惑时段。
基于前述步骤所得到的疑惑表情的图像，确定去疑惑时段。
为了提高对于疑惑时段确定的准确性，具体地，可以确定一个时间阈值，统计时间阈值内各表情实际种类的图像数量，将进行各实际种类的比较，当疑惑表情的数量高于其他各个实际种类的图像数量时，将该时间阈值作为疑惑时段。
比如，可以设置时间阈值为5分钟，那么随着时间的推移分别对每个5分钟内的各表情的实际种类的图像进行统计，如果疑惑表情的图像数量最高，则将其定为疑惑时段，最终确定下哪几个时间阈值为疑惑时段。
由于统计的是时间阈值内的多个图像中的表情的实际种类，这就大大降低了单个图像所带来的偏差而造成的误差，从而提高了识别的准确性，并且随着时间的推移，不断进行时间阈值范围内的数据的更新，各个图像进行了多次统计，可以降低统计偏差，进一步提高准确性。
步骤S14：根据疑惑时段，确定疑问课程视频。
对应疑惑时段，找出课程视频中的疑问课程视频。
步骤S15：将疑问课程视频的内容推送至用户。
推送至用户的具体方式可以是发送至用户的邮箱等方式，具体疑问课程视频的内容可以为对应时段的视频摘取、视频相关图像、视频解析文本或者与视频所讲述内容相关的其他资料文件。
可以看出，本发明所提供的在线学习分析方法，通过对图像的处理，得到用户表情的实际种类为疑惑表情的图像，进而得到图像的拍摄时刻，并由拍摄时刻得到对应的知识内容，再将其进行推送，从而不仅可以了解到用户在在线学习期间的学习状态，对学习过程有一个了解和把握，而且能够准确找到用户疑问的知识点，并将有疑问的知识点以推送的方式提供给用户，以保证用户能够在课堂后进行针对性的学习，进而提高在线学习的学习质量。
图像处理有多种实现方式，在此进行详细说明，其他步骤与前述方法类似，在此不再赘述。
请参考图11-14，图11是本发明实施例另一种在线学习分析方法的流程图；图12是本发明实施例另一种在线学习分析方法的流程图；图13是本发明实施例另一种在线学习分析方法的流程图；图14是本发明实施例另一种在线学习分析方法的流程图。
如图11所示，本发明所提供的在线学习分析方法，经步骤S21：采集用户的图像后，在步骤S22中，对图像进行处理，获得图像内的用户表情类别中的实际种类具体包括以下步骤：
步骤S227：对图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
这样，后续仅需要对尺寸调整处理后的特征图进行相关处理，获取图像内的用户表情类别中的实际种类，进而得出实际种类为疑惑表情的图像。通过对图像的尺寸处理，可以提高后续运算的效率。
具体地，本发明通过卷积神经网络实现对图像的尺寸调整处理，以在满足识别要求的基础上，尽可能减小特征图的尺寸，提高图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
经运算得知，尺寸调整处理后的特征图的尺寸最小为46×46像素点，再大也可以，但会造成一定程度的运算量的增加，如果再小，则会影响图像后续检测识别的效果。
具体地，卷积神经网络的层数是通过感受野倒推的方式获得的，也就是首先确定底层特征图的尺寸和相邻两层间感受野的尺寸，然后通过逐层累积的方式，计算得到所要的尺寸调整处理后的特征图的尺寸，这样就可以知道对图像进行处理，要得到尺寸调整处理后的特征图的尺寸，所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率。可以设定底层特征图的尺寸为1×1像素点或者3×3像素点，感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层，以获得较低的运算量。
当然，尺寸调整处理后的特征图的尺寸为46×46像素点也可以通过其他的方式得到，并不限于上文所述的感受野倒推的方式。
在另一种具体实施例中，本发明所提供的在线学习分析方法，对图像进行处理，获得图像内的用户表情类别中的实际种类具体包括以下步骤：
步骤S221：利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值；
具体地，人脸关键点可以包括眼部关键点和嘴部关键点，这是因为，在不同表情类别下，人的嘴部(比如：嘴角、上下唇边)和眼部(比如：眼球、眼眶、眉毛)的位置变化明显，对这些关键点的检测和分析能大大提高分析结果的准确性，当然人脸关键点也可以包括人脸其他部位的关键点。
步骤S222：利用表情识别算法对人脸关键点坐标差值(比如眼睛上下边缘差值、两嘴角差值)和尺寸调整处理后的特征图二者中的至少一者进行识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤S23：根据疑惑表情的图像，确定疑惑时段。
步骤S24：根据疑惑时段，确定疑问课程视频。
步骤S25：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
当然了，所采用的关键点检测算法可以为关键点检测深度学习算法，表情识别算法为表情识别深度学习算法，二者均可以提高分析的准确性。关键点检测深度学习算法的激活函数为双曲正切函数加绝对值函数，这样利于关键点检测深度学习算法对结果进行处理。
这样，通过对人脸关键点坐标差值或者图像本身二者中至少一者的识别，可以提高识别的准确性，另一方面，在识别过程中，对人脸关键点坐标差值的计算量也大大小于对人脸关键点的计算量，且准确性更高。
另一方面，为了提高图像处理的运算速率，本发明所提供的在线学习分析方法，执行完步骤S31采集用户图像后，执行步骤S32中对图像进行处理，获得图像内的用户表情类别中的实际种类的步骤，如图12所示，除包括步骤S327，对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图，还包括：
步骤S328，利用灰度处理算法对尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
步骤S321，利用关键点检测算法对灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
步骤S322，利用表情识别算法对人脸关键点坐标差值和灰度图像二者中的至少一者进行算法识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤S33：根据疑惑表情的图像，确定疑惑时段。
步骤S34：根据疑惑时段，确定疑问课程视频。
步骤S35：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
使用灰度图像进行运算去掉了很多颜色噪声，同时灰度图像只有一个通道，这样大大降低了计算量，使模型运行的速度更快。
如图13所示，为提高图片分析的准确性，图像处理步骤S42在接收到经过步骤S41采集用户的图像得到的图像后，并经过步骤S427，对图像进行图像尺寸调整处理，得到尺寸调整处理后的特征图后，再执行：
步骤S423，用人脸检测算法对尺寸调整后的特征图进行检测，得到人脸外接矩形坐标，并根据外接矩形坐标得到人脸矩形图像。
在此种情况下，步骤S421则为：利用关键点检测算法对步骤S423获得的人脸矩形图像进行识别，进而获得人脸关键点坐标和人脸关键点坐标差值，而步骤S422为：利用表情识别算法对人脸关键点坐标差值和人脸矩形图像中的至少一者进行算法识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤S43：根据疑惑表情的图像，确定疑惑时段。
步骤S44：根据疑惑时段，确定疑问课程视频。
步骤S45：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
这样，在对图像进行处理时，先获得人脸矩形图像，然后再对人脸矩形图像进行后续处理，去除了不必要的背景噪声。
具体人脸检测算法可以为深度学习人脸检测算法，比如全卷积网络。
但是，前述的图像处理的结果都是对图像中用户的表情类别的实际种类的识别，而并没有判断图像中的用户表情是不是用户对在线学习的内容做出的反应，这样如果用户在看到别的信息后表现出了疑惑表情，也会被认为是对学习内容的疑惑，为获取这部分数据，如图14所示，本发明所提供的在线学习分析方法，经过步骤S51采集用户的图像得到的图像；步骤S527，对图像进行图像尺寸调整处理，得到尺寸调整处理后的特征图，以及步骤S521：利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值后，还执行：
步骤S525：根据人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
步骤S522：利用表情识别算法对人脸关键点坐标差值和尺寸调整处理后的特征图二者中的至少一者进行识别，获得用户表情类别中的实际种类，并筛选出疑惑表情的图像；
接下来，执行步骤S526：根据瞳孔位置，验证疑惑表情的图像，得到验证后的疑惑表情的图像。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤S53：根据疑惑表情的图像，确定疑惑时段。
步骤S54：根据疑惑时段，确定疑问课程视频。
步骤S55：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
经过该步骤，进一步提高了判断的准确性。
请参考图15和图16，图15是本发明实施例另一种在线学习分析方法的流程图；图16是是本发明实施例另一种在线学习分析方法的流程图。
在另一种具体实施方式中，本发明所提供的在线学习分析方法除了以下步骤：
步骤S61，采集用户的图像；
步骤S62，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤S63：根据疑惑表情的图像，确定疑惑时段；
步骤S64：根据疑惑时段，确定疑问课程视频；
还包括：
步骤S66：对根据疑惑时段，确定疑问课程视频步骤S64所得到的疑问课程视频进行解析，得到疑问解析文本：
步骤S65：将疑问解析文本作为疑问课程视频的内容推送至用户。
由于比较简单的推送的方式可以是直接发送至用户的邮箱，而直接得到的视频文件较大，且用户可以在在线学习系统上直接获得课程视频，因此，直接推送视频文件会造成资源的浪费，为此，本发明所提供的在线学习分析方法设置文本解析步骤S66，将疑问课程视频文件进行解析得到相应文本，再将文本推送至用户
具体地，如图16所示，本发明所提供的在线学习分析方法除了以下步骤：
步骤S71，采集用户的图像；
步骤S72，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤S73：根据疑惑表情的图像，确定疑惑时段；
步骤S74：根据疑惑时段，确定疑问课程视频；
还包括：文本解析步骤S76；
步骤S65：将疑问解析文本作为疑问课程视频的内容推送至用户。
其中，文本解析步骤S76具体包括：
步骤S761：采集疑问课程视频图像，得到疑问课程图像；
步骤S762：利用预设的字符识别算法解析疑问课程图像，得到疑问解析文本。
即对确定好的疑问课程视频按照一定的频率采集图像，然后再对图像进行字符识别得到疑问解析文本，通过将视频分解为多个图像的方式进行解析，这大大降低了视频解析的难度。
当然，预设的字符识别算法可以为深度学习光学字符识别算法(OCR算法)，该识别算法进一步提高解析文本的准确性。
请参考图17，图17是本发明实施例又一种在线学习分析方法的流程图。
由于经过解析后的文本，可能所涉及的具体知识有重复的，这将直接影响用户的参考感受，为此，本发明所提供的在线学习分析方法，除了以下步骤：
步骤S81，采集用户的图像；
步骤S82，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤S83：根据疑惑表情的图像，确定疑惑时段；
步骤S84：根据疑惑时段，确定疑问课程视频；
步骤S86：根据疑问课程视频，确定疑问解析文本；
还包括：
步骤S87：对文本解析步骤S86所得到的疑问解析文本中的重复信息进行去重处理；
此时，信息推送步骤S85则为将去重处理后的疑问解析文本作为疑问课程视频的内容推送至用户。
当然，本文所述的去重处理可以包含除了简单的去重以外的提炼、归纳等处理，以提高所得到的疑问解析文本的质量。
除了将疑问课程视频或者疑问解析文本推送至用户，还可以将其他与疑问课程视频所涵盖的知识点相关的其他资料推送至用户，如图18所示，图18是本发明实施例再一种在线学习分析方法的流程图，本发明所提供的在线学习分析方法，除了包括：
步骤S91，采集用户的图像；
步骤S92，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤S93：根据疑惑表情的图像，确定疑惑时段；
步骤S94：根据疑惑时段，确定疑问课程视频；
步骤S95：将所述疑问课程视频的内容推送至所述用户。
还包括步骤S98：根据步骤S94所得到的疑问课程视频，收集关联知识，将关联知识推送至用户，具体推送时可以与疑问课程视频的内容一同推送，也可以分别推送这样用户可以得到更多的经过筛选的，与用户所欠缺的知识相对应的资料，以进一步提高学习质量。
虽然本发明实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (36)

1.一种在线学习分析系统，其特征在于，包括：
图像采集装置，适于采集用户的图像；
图像处理装置，适于对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；
疑惑时段确定装置，适于统计时间阈值内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段；
课程视频确定装置，适于根据所述疑惑时段，确定疑问课程视频；
信息推送装置，适于将所述疑问课程视频的内容推送至所述用户。
2.如权利要求1所述的在线学习分析系统，其特征在于，所述图像处理装置包括：
尺寸调整单元，适于对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
3.如权利要求2所述的在线学习分析系统，其特征在于，所述尺寸调整单元利用卷积神经网络对所述图像进行尺寸调整处理。
4.如权利要求3所述的在线学习分析系统，其特征在于，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
5.如权利要求4所述的在线学习分析系统，其特征在于，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
6.如权利要求5所述的在线学习分析系统，其特征在于，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。
7.如权利要求2-6任一项所述的在线学习分析系统，其特征在于，所述图像处理装置包括：
人脸关键点检测单元，适于利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
8.如权利要求7所述的在线学习分析系统，其特征在于，所述人脸关键点包括眼部关键点和嘴部关键点。
9.如权利要求7所述的在线学习分析系统，其特征在于，所述图像处理装置还包括：
灰度图像获取单元，适于利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述人脸关键点检测单元，适于利用所述关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用所述表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
10.如权利要求7所述的在线学习分析系统，其特征在于，所述图像处理装置还包括：
人脸轮廓检测单元，适于用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述人脸关键点检测单元，适于利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
11.如权利要求7所述的在线学习分析系统，其特征在于，所述图像处理装置还包括：
瞳孔位置计算单元，适于根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
表情验证单元，适于根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的疑惑表情的图像；
所述疑惑时段确定装置，适于根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
12.如权利要求2-6任一项所述的在线学习分析系统，其特征在于，还包括：
文本解析装置，适于对所述课程视频确定装置所得到的所述疑问课程视频进行解析，得到疑问解析文本；
所述信息推送装置，适于将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
13.如权利要求12所述的在线学习分析系统，其特征在于，所述文本解析装置包括：
课程视频图像采集单元，适于采集所述疑问课程视频图像，得到疑问课程图像；
信息解析单元，适于利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
14.如权利要求12所述的在线学习分析系统，其特征在于，还包括：
去重装置，适于对所述文本解析装置所得到的所述疑问解析文本中的重复信息进行去重处理；
所述信息推送装置，适于将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
15.如权利要求2-6任一项所述的在线学习分析系统，其特征在于，还包括：
关联知识收集装置，适于根据所述课程视频确定装置所得到的所述疑问课程视频，收集关联知识；
所述信息推送装置，适于将所述关联知识推送至所述用户。
16.一种在线学习分析方法，其特征在于，包括：
采集用户的图像；
对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；
统计时间阈值内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段；
根据所述疑惑时段，确定疑问课程视频；
将所述疑问课程视频的内容推送至所述用户。
17.如权利要求16所述的在线学习分析方法，其特征在于，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，包括：对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
18.如权利要求17所述的在线学习分析方法，其特征在于，对所述图像进行尺寸调整处理，包括利用卷积神经网络对所述图像进行尺寸调整处理。
19.如权利要求18所述的在线学习分析方法，其特征在于，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
20.如权利要求19所述的在线学习分析方法，其特征在于，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
21.如权利要求20所述的在线学习分析方法，其特征在于，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。
22.如权利要求17-21任一项所述的在线学习分析方法，其特征在于，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
23.如权利要求22所述的在线学习分析方法，其特征在于，所述人脸关键点包括眼部关键点和嘴部关键点。
24.如权利要求22所述的在线学习分析方法，其特征在于，所述关键点检测算法为关键点检测深度学习算法。
25.如权利要求22所述的在线学习分析方法，其特征在于，所述关键点检测深度学习算法的激活函数为双曲正切函数加绝对值函数。
26.如权利要求22所述的在线学习分析方法，其特征在于，所述表情识别算法为表情识别深度学习算法。
27.如权利要求22所述的在线学习分析方法，其特征在于，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
28.如权利要求22所述的在线学习分析方法，其特征在于，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：利用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
29.如权利要求28所述的在线学习分析方法，其特征在于，所述人脸检测算法为深度学习人脸检测算法。
30.如权利要求29所述的在线学习分析方法，其特征在于，所述深度学习人脸检测算法为全卷积网络。
31.如权利要求22所述的在线学习分析方法，其特征在于，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的所述疑惑表情的图像；
所述根据所述疑惑表情的图像的时刻，确定疑惑时段，包括根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
32.如权利要求17-21任一项所述的在线学习分析方法，其特征在于，在将所述疑问课程视频的内容推送至所述用户之前，还包括：对所确定的所述疑问课程视频进行解析，得到疑问解析文本；
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
33.如权利要求32所述的在线学习分析方法，其特征在于，所述确定疑问解析文本步骤包括：
采集所述疑问课程视频的图像，得到疑问课程图像；
利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
34.如权利要求33所述的在线学习分析方法，其特征在于，所述预设的字符识别算法为深度学习光学字符识别算法。
35.如权利要求32所述的在线学习分析方法，其特征在于，在将所述疑问课程视频的内容推送至所述用户之前，还包括：
对所述疑问解析文本中的重复信息进行去重处理，
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户包括，将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
36.如权利要求17-21任一项所述的在线学习分析方法，其特征在于，还包括：根据所确定的所述疑问课程视频，收集关联知识，将所述关联知识推送至所述用户。
CN201810078792.2A 2018-01-26 2018-01-26 在线学习分析系统及方法 Active CN108304793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078792.2A CN108304793B (zh) 2018-01-26 2018-01-26 在线学习分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078792.2A CN108304793B (zh) 2018-01-26 2018-01-26 在线学习分析系统及方法

Publications (2)

Publication Number Publication Date
CN108304793A CN108304793A (zh) 2018-07-20
CN108304793B true CN108304793B (zh) 2021-01-08

Family

ID=62866483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078792.2A Active CN108304793B (zh) 2018-01-26 2018-01-26 在线学习分析系统及方法

Country Status (1)

Country Link
CN (1) CN108304793B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255366B (zh) * 2018-08-01 2020-07-17 北京科技大学 一种针对在线学习的情感状态调节系统
CN110134227B (zh) * 2018-09-29 2022-03-01 广东小天才科技有限公司 一种基于可穿戴设备的听写方法及可穿戴设备
CN109493296A (zh) * 2018-10-31 2019-03-19 泰康保险集团股份有限公司 图像增强方法、装置、电子设备及计算机可读介质
CN110276633A (zh) * 2019-05-09 2019-09-24 威比网络科技(上海)有限公司 基于在线教育的广告投放方法、系统、设备及存储介质
CN111327943B (zh) * 2019-07-17 2022-08-02 杭州海康威视系统技术有限公司 信息管理方法及装置、系统、计算机设备、存储介质
CN110418204B (zh) * 2019-07-18 2022-11-04 平安科技（深圳）有限公司 基于微表情的视频推荐方法、装置、设备和存储介质
CN112699337B (zh) * 2019-10-22 2022-07-29 北京易真学思教育科技有限公司 方程批改方法、电子设备及计算机存储介质
CN111027486B (zh) * 2019-12-11 2023-11-14 李思娴 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN110728604B (zh) * 2019-12-18 2020-03-31 恒信东方文化股份有限公司 一种分析方法及装置
CN113055666B (zh) * 2019-12-26 2022-08-09 武汉Tcl集团工业研究院有限公司 一种视频质量评估方法及装置
CN111638788A (zh) * 2020-05-29 2020-09-08 广东小天才科技有限公司 一种学习数据输出方法及终端设备
CN114219346B (zh) * 2021-12-24 2023-04-14 江苏童能文化科技有限公司 一种提高网络学习环境服务质量的方法及系统
CN114898449B (zh) * 2022-07-13 2022-10-04 电子科技大学成都学院 一种基于大数据的外语教学辅助方法及装置
CN118097761A (zh) * 2024-04-28 2024-05-28 江西旅游商贸职业学院 一种注意力分析的课堂教学难点分析方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股（北京）有限公司 智能电视及其内容推荐的方法、装置
CN106295566A (zh) * 2016-08-10 2017-01-04 北京小米移动软件有限公司 人脸表情识别方法及装置
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN106778659A (zh) * 2016-12-28 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN107146177A (zh) * 2017-04-21 2017-09-08 阔地教育科技有限公司 一种基于人工智能技术的教学系统及方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140051725A (ko) * 2012-10-23 2014-05-02 문지현 감정 교류 장치 및 제공 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股（北京）有限公司 智能电视及其内容推荐的方法、装置
CN106295566A (zh) * 2016-08-10 2017-01-04 北京小米移动软件有限公司 人脸表情识别方法及装置
CN106548159A (zh) * 2016-11-08 2017-03-29 中国科学院自动化研究所 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN106778659A (zh) * 2016-12-28 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及装置
CN107146177A (zh) * 2017-04-21 2017-09-08 阔地教育科技有限公司 一种基于人工智能技术的教学系统及方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Also Published As

Publication number Publication date
CN108304793A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108304793B (zh) 在线学习分析系统及方法
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN109165552B (zh) 一种基于人体关键点的姿态识别方法、系统及存储器
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN111046819B (zh) 一种行为识别处理方法及装置
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
Xu et al. Security and Usability Challenges of {Moving-Object}{CAPTCHAs}: Decoding Codewords in Motion
CN110602526A (zh) 视频处理方法、装置、计算机设备及存储介质
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
CN112101123B (zh) 一种注意力检测方法及装置
CN104077597B (zh) 图像分类方法及装置
CN113537801B (zh) 板书处理方法、装置、终端和存储介质
CN113705510A (zh) 目标识别跟踪的方法、装置、设备及存储介质
CN105678301B (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN111353439A (zh) 一种教学行为的分析方法、装置、系统及设备
CN111241926A (zh) 考勤与学情分析方法、系统、设备及可读存储介质
CN113822907A (zh) 图像处理方法及装置
CN111199172A (zh) 基于终端录屏的处理方法及装置、存储介质
Yi et al. Real time learning evaluation based on gaze tracking
CN111768729A (zh) 一种vr场景自动解说方法、系统和存储介质
CN112116505A (zh) 一种防作弊在线竞赛系统及方法
CN112270231A (zh) 一种确定目标视频属性特征的方法、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190419

Address after: Room 1702-03, Blue Sky and Sheng Building, 32 Zhongguancun Street, Haidian District, Beijing

Applicant after: BEIJING CENTURY TAL EDUCATION TECHNOLOGY CO., LTD.

Address before: Room A-2667, 2nd floor, No. 3 Courtyard, 30 Shixing Street, Shijingshan District, Beijing, 100041

Applicant before: Beijing easy thinking learning technology Co., Ltd.

Applicant before: BEIJING XINTANG SICHUANG EDUCATIONAL TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant