CN115240263A - 一种线上学习有效性判断方法、系统及介质 - Google Patents

一种线上学习有效性判断方法、系统及介质 Download PDF

Info

Publication number
CN115240263A
CN115240263A CN202211121808.6A CN202211121808A CN115240263A CN 115240263 A CN115240263 A CN 115240263A CN 202211121808 A CN202211121808 A CN 202211121808A CN 115240263 A CN115240263 A CN 115240263A
Authority
CN
China
Prior art keywords
data
learning
abnormal
voice
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211121808.6A
Other languages
English (en)
Inventor
张志发
杨立春
迟令贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Penguin Network Technology Co ltd
Original Assignee
Shenzhen Penguin Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Penguin Network Technology Co ltd filed Critical Shenzhen Penguin Network Technology Co ltd
Priority to CN202211121808.6A priority Critical patent/CN115240263A/zh
Publication of CN115240263A publication Critical patent/CN115240263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/95—Pattern authentication; Markers therefor; Forgery detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

本发明公开了一种线上学习有效性判断方法、系统及介质。通过获取目标对象学习图像数据进行初步人脸识别认证，并分析出眼部图像中眼球的眼白和瞳孔的特征，得到眼球异常学习数据，从而有效分析出线上学员在学习过程中的学习状态与有效学习持续时间。另外，通过提前获取目标语音数据，运用语音识别模型进行语音特征提取，得到有效验证的语音特征，并通过随机文字的组合进行语音测试得到准确的语音识别结果，根据语音识别结果进行分析，进一步得到在线学员准确的有效学习时间。通过本发明，有效提高了对于在线学习有效性判断的准确度，能够精准地分析出每个在线学员的学习状态、学习专注度与有效学习时间，从而得到有针对性的学习数据。

Description

一种线上学习有效性判断方法、系统及介质
技术领域
本发明涉及线上学习领域，更具体的，涉及一种线上学习有效性判断方法、系统及介质。
背景技术
目前，随着信息技术的逐步发展和线上教育需求的大幅扩张，传统学习转变为在互联网上在线学习的趋势越来越明显，而如何提高线上学习的成效受到了国内教育者的广泛关注。一方面，线上学习平台的资源类型丰富，师生可以采用多种方式进行课堂活动。另一方面，由于师生角色功能的不同，以及网络环境的多变，学员在线上学习方面仍存在着诸多问题，如学习效率低下，学员学习时间、学习专注程度、学习有效性难以统计分析等问题，所以，现在亟需一种针对线上学习的有效性进行判断的方法。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种线上学习有效性判断。
本发明第一方面提供了一种线上学习有效性判断方法，包括：
获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
本方案中，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，具体为：
获取目标对象学习图像数据；
根据目标对象学习图像数据进行人脸图像分割，得到人脸图像数据；
将人脸图像数据进行五官特征分析得到目标特征数据；
根据目标对象从人脸特征数据库中检索出对应的人脸验证特征数据；
将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果。
本方案中，所述若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息，具体为：
根据目标对象学习图像数据进行脸部区域分割与眼球区域识别，得到眼部图像数据；
将眼部图像数据进行灰度转化与眼球特征分析，得到基于灰度图像的眼白区域图像信息和瞳孔区域图像信息；
根据眼白相对位置与瞳孔相对位置进行位移量分析，结合预设位移方向，得到眼球专注方向移动异常信息。
本方案中，所述若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息，还包括：
获取眼部图像数据；
根据眼部图像数据进行灰度转化得到灰度眼部图像数据；
在学习过程中，判断灰度眼部图像数据是否存在瞳孔特征数据；
若分析出不存在瞳孔特征数据，则获取瞳孔特征数据不存在的开始时间与结束时间；
将所述开始时间与结束时间进行分析计算，得到眼球数据异常时间信息；
将眼球专注方向移动异常信息与眼球数据异常时间信息进行信息合并得到眼球验证异常信息。
本方案中，所述根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据，具体为：
获取眼球验证异常信息中的眼球专注方向移动异常信息和眼球数据异常时间信息；
根据眼球专注方向移动异常信息，获取学习过程中的专注方向移动异常持续时间；
根据眼球数据异常时间信息得到眼球数据异常持续时间；
将专注方向移动异常持续时间和眼球数据异常持续时间进行时间重叠合并，得到眼球异常持续时间；
根据眼球异常持续时间进行学习过程数据异常标记，得到眼球异常学习数据。
本方案中，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取预设长度的样品文字数据；
根据样品文字数据进行目标语音数据采样，得到目标语音原始数据；
构建语音识别模型；
将目标原始数据导入语音识别模型；
语音识别模型根据目标语音原始数据与样品文字数据进行基于单个文字数据的语音分隔，得到多个单位语音数据与单位文字数据；
将单位语音数据进行语音识别与频率特征提取，得到单位语音特征；
将单位语音特征与对应的单位文字数据进行标记映射，得到语音识别映射表。
本方案中，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取样品文字数据；
以当前时间作为随机种子，将样品文字数据根据预设测试长度进行随机选取，得到测试文字数据；
将测试文字数据进行基于单个文字数据的数据分隔，得到单位测试文字数据；
根据单位测试文字数据，从语音识别映射表中进行映射检索，得到对应的单位语音特征；
获取目标测试语音数据，根据目标测试语音数据进行数据分隔与特征提取，得到单位测试语音特征；
将单位语音特征与单位测试语音特征进行特征相似度对比得到单位语音识别相似度；
计算分析出所有单位语音识别相似度并进行均值处理，得到语音识别率。
本方案中，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，还包括：
判断比较语音识别率，若当前语音识别率小于预设识别率，则判定为语音识别不通过，并获取当前第一时间；
检索历史语音识别率，获取上一次语音识别不通过的时间，得到第二时间；
根据第一时间与第二时间将对应的学习过程数据进行语音识别异常标记，得到语音异常学习数据。
本方案中，所述根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率，具体为：
获取学习过程数据；
将眼球异常学习数据、语音异常学习数据和学习过程数据进行数据占比分析，得到非异常数据占比率；
将非异常数据占比率作为总体学习有效率。
本发明第二方面还提供了一种线上学习有效性判断系统，该系统包括：存储器、处理器，所述存储器中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被所述处理器执行时实现如下步骤：
获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被处理器执行时，实现如上述任一项所述的线上学习有效性判断方法的步骤。
本发明公开了一种线上学习有效性判断方法、系统及介质。通过获取目标对象学习图像数据进行初步人脸识别认证，并分析出眼部图像中眼球的眼白和瞳孔的特征，得到眼球异常学习数据，从而有效分析出线上学员在学习过程中的学习状态与有效学习持续时间。另外，通过提前获取目标语音数据，运用语音识别模型进行语音特征提取，得到有效验证的语音特征，并通过随机文字的组合进行语音测试得到准确的语音识别结果，根据语音识别结果进行分析，进一步得到在线学员准确的有效学习时间。通过本发明，有效提高了对于在线学习有效性判断的准确度，能够精准地分析出每个在线学员的学习状态、学习专注度与有效学习时间，从而得到有针对性的学习数据。
附图说明
图1示出了本发明一种线上学习有效性判断方法的流程图；
图2示出了本发明获取人脸验证结果流程图；
图3示出了本发明获取语音异常学习数据流程图；
图4示出了本发明一种线上学习有效性判断系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种线上学习有效性判断方法的流程图。
如图1所示，本发明第一方面提供了一种线上学习有效性判断方法，包括：
S102，获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
S104，若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
S106，根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
S108，根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
S110，根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
需要说明的是，所述获取目标对象学习图像数据具体为通过图像识别装置进行获取，所述图像识别装置包括视频摄像功能与图像拍摄识别功能。
根据本发明实施例，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，之前包括：
构建人脸特征数据库；
获取人脸样品数据，将人脸样品数据进行人脸轮廓分析与图像分割，得到分割图像数据；
将分割图像数据进行五官特征分析，得到人脸验证特征数据；
将人脸验证特征数据导入人脸特征数据库进行数据存储。
需要说明的是，所述人脸样品数据为多个人脸样品数据，一个人脸样品数据对应一个目标对象，所述目标对象一般为学生或在线学习人员。
图2示出了本发明获取人脸验证结果流程图。
根据本发明实施例，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，具体为：
S202，获取目标对象学习图像数据；
S204，根据目标对象学习图像数据进行人脸图像分割，得到人脸图像数据；
S206，将人脸图像数据进行五官特征分析得到目标特征数据；
S208，根据目标对象从人脸特征数据库中检索出对应的人脸验证特征数据；
S210，将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果。
需要说明的是，所述目标对象学习图像数据对应一个目标对象，所述人脸验证结果为正确或错误。所述将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果中，具体为计算分析出特征对比的相似率，若相似率大于90%则人脸验证结果为正确。
根据本发明实施例，所述若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息，具体为：
根据目标对象学习图像数据进行脸部区域分割与眼球区域识别，得到眼部图像数据；
将眼部图像数据进行灰度转化与眼球特征分析，得到基于灰度图像的眼白区域图像信息和瞳孔区域图像信息；
根据眼白相对位置与瞳孔相对位置进行位移量分析，结合预设位移方向，得到眼球专注方向移动异常信息；
根据眼部图像数据进行灰度转化得到灰度眼部图像数据；
在学习过程中，判断灰度眼部图像数据是否存在瞳孔特征数据；
若分析出不存在瞳孔特征数据，则获取瞳孔特征数据不存在的开始时间与结束时间；
将所述开始时间与结束时间进行分析计算，得到眼球数据异常时间信息；
将眼球专注方向移动异常信息与眼球数据异常时间信息进行信息合并得到眼球验证异常信息。
需要说明的是，所述预设位移方向具体为眼球在正对学习设备时的专注方向，所述眼球专注方向移动异常信息包括专注方向偏移时间和专注方向偏移量。眼球数据异常时间信息包括眼球数据异常持续时间。另外，所述若分析出不存在瞳孔特征数据，一般为在线学员闭眼、背对图像识别装置或无法识别学员眼部图像数据的情况。
根据本发明实施例，所述根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据，具体为：
获取眼球验证异常信息中的眼球专注方向移动异常信息和眼球数据异常时间信息；
根据眼球专注方向移动异常信息，获取学习过程中的专注方向移动异常持续时间；
根据眼球数据异常时间信息得到眼球数据异常持续时间；
将专注方向移动异常持续时间和眼球数据异常持续时间进行时间重叠合并，得到眼球异常持续时间；
根据眼球异常持续时间进行学习过程数据异常标记，得到眼球异常学习数据。
需要说明的是，所述眼球异常持续时间包括眼球异常开始时间和眼球异常结束时间。所述学习过程数据为线上学习过程中产生的数据，包括学习单元评分，学习累计进度，学习累计时间，学习异常状态等。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取预设长度的样品文字数据；
根据样品文字数据进行目标语音数据采样，得到目标语音原始数据；
构建语音识别模型；
将目标原始数据导入语音识别模型；
语音识别模型根据目标语音原始数据与样品文字数据进行基于单个文字数据的语音分隔，得到多个单位语音数据与单位文字数据；
将单位语音数据进行语音识别与频率特征提取，得到单位语音特征；
将单位语音特征与对应的单位文字数据进行标记映射，得到语音识别映射表。
需要说明的是，所述预设长度一般为50~100个文字字符。所述文字字符可以为中文字符或英文字母。所述语音识别模型包括ASRT和DeepSpeechRecognition语音系统。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取样品文字数据；
以当前时间作为随机种子，将样品文字数据根据预设测试长度进行随机选取，得到测试文字数据；
将测试文字数据进行基于单个文字数据的数据分隔，得到单位测试文字数据；
根据单位测试文字数据，从语音识别映射表中进行映射检索，得到对应的单位语音特征；
获取目标测试语音数据，根据目标测试语音数据进行数据分隔与特征提取，得到单位测试语音特征；
将单位语音特征与单位测试语音特征进行特征相似度对比得到单位语音识别相似度；
计算分析出所有单位语音识别相似度并进行均值处理，得到语音识别率。
需要说明的是，所述预设测试长度一般为10到30个文字字符长度。所述获取目标测试语音数据为根据预设时间间隔进行获取，所述预设时间间隔一般为10到20分钟。
另外，所述语音识别映射表为基于目标对象正确语音数据得到的映射表，具有验证测试数据的作用。本发明通过获取目标测试语音数据进行特征提取与验证，从而能够在学习过程中方便快捷地对测试对象进行语音验证，进一步判定当前测试对象是否为目标对象，实现了对有效性学习的高效判断。
图3示出了本发明获取语音异常学习数据流程图。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，还包括：
S302，判断比较语音识别率，若当前语音识别率小于预设识别率，则判定为语音识别不通过，并获取当前第一时间；
S304，检索历史语音识别率，获取上一次语音识别不通过的时间，得到第二时间；
S306，根据第一时间与第二时间将对应的学习过程数据进行语音识别异常标记，得到语音异常学习数据。
根据本发明实施例，所述根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率，具体为：
获取学习过程数据；
将眼球异常学习数据、语音异常学习数据和学习过程数据进行数据占比分析，得到非异常数据占比率；
将非异常数据占比率作为总体学习有效率。
需要说明的是，所述学习过程数据为总体数据，包括眼球异常学习数据、语音异常学习数据和非异常学习数据。
根据本发明实施例，还包括：
判断总体学习有效率；
若总体学习有效率小于预设有效率，则根据眼球异常学习数据、语音异常学习数据进行数据汇总，得到异常学习数据；
根据异常学习数据从学习资料库中进行检索分析，得到补充学习数据；
根据总体学习有效率的大小，将补充学习数据进行相应的数据减量，得到附加学习数据；
将附加学习数据增添至学习过程数据中得到新的学习过程数据。
需要说明的是，所述根据总体学习有效率的大小，将补充学习数据进行相应的数据减量中，若总体学习有效率越大，则减少补充学习数据的量越大，得到的附加学习数据量也越小。所述预设有效率一般为70%。
根据本发明实施例，还包括：
获取目标群体中每个目标对象的总体学习有效率；
根据所述总体学习有效率进行综合分析，得到目标群体平均学习有效率；
将每个目标对象的总体学习有效率与预设最低学习有效率进行比较与分组，得到大于等于预设最低学习有效率的第一目标群体与小于预设最低学习有效率的第二目标群体；
根据平均学习有效率、第一目标群体数量和第二目标群体数量综合分析出线上教师的教学有效率；
根据教学有效率的大小，生成针对第一目标群体与第二目标群体的教学调整方案。
图4示出了本发明一种线上学习有效性判断系统的框图。
本发明第二方面还提供了一种线上学习有效性判断系统4，该系统包括：存储器41、处理器42，所述存储器中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被所述处理器执行时实现如下步骤：
获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
需要说明的是，所述获取目标对象学习图像数据具体为通过图像识别装置进行获取，所述图像识别装置包括视频摄像功能与图像拍摄识别功能。
根据本发明实施例，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，之前包括：
构建人脸特征数据库；
获取人脸样品数据，将人脸样品数据进行人脸轮廓分析与图像分割，得到分割图像数据；
将分割图像数据进行五官特征分析，得到人脸验证特征数据；
将人脸验证特征数据导入人脸特征数据库进行数据存储。
需要说明的是，所述人脸样品数据为多个人脸样品数据，一个人脸样品数据对应一个目标对象，所述目标对象一般为学生或在线学习人员。
根据本发明实施例，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，具体为：
获取目标对象学习图像数据；
根据目标对象学习图像数据进行人脸图像分割，得到人脸图像数据；
将人脸图像数据进行五官特征分析得到目标特征数据；
根据目标对象从人脸特征数据库中检索出对应的人脸验证特征数据；
将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果。
需要说明的是，所述目标对象学习图像数据对应一个目标对象，所述人脸验证结果为正确或错误。所述将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果中，具体为计算分析出特征对比的相似率，若相似率大于90%则人脸验证结果为正确。
根据本发明实施例，所述若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息，具体为：
根据目标对象学习图像数据进行脸部区域分割与眼球区域识别，得到眼部图像数据；
将眼部图像数据进行灰度转化与眼球特征分析，得到基于灰度图像的眼白区域图像信息和瞳孔区域图像信息；
根据眼白相对位置与瞳孔相对位置进行位移量分析，结合预设位移方向，得到眼球专注方向移动异常信息；
根据眼部图像数据进行灰度转化得到灰度眼部图像数据；
在学习过程中，判断灰度眼部图像数据是否存在瞳孔特征数据；
若分析出不存在瞳孔特征数据，则获取瞳孔特征数据不存在的开始时间与结束时间；
将所述开始时间与结束时间进行分析计算，得到眼球数据异常时间信息；
将眼球专注方向移动异常信息与眼球数据异常时间信息进行信息合并得到眼球验证异常信息。
需要说明的是，所述预设位移方向具体为眼球在正对学习设备时的专注方向，所述眼球专注方向移动异常信息包括专注方向偏移时间和专注方向偏移量。眼球数据异常时间信息包括眼球数据异常持续时间。另外，所述若分析出不存在瞳孔特征数据，一般为在线学员闭眼、背对图像识别装置或无法识别学员眼部图像数据的情况。
根据本发明实施例，所述根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据，具体为：
获取眼球验证异常信息中的眼球专注方向移动异常信息和眼球数据异常时间信息；
根据眼球专注方向移动异常信息，获取学习过程中的专注方向移动异常持续时间；
根据眼球数据异常时间信息得到眼球数据异常持续时间；
将专注方向移动异常持续时间和眼球数据异常持续时间进行时间重叠合并，得到眼球异常持续时间；
根据眼球异常持续时间进行学习过程数据异常标记，得到眼球异常学习数据。
需要说明的是，所述眼球异常持续时间包括眼球异常开始时间和眼球异常结束时间。所述学习过程数据为线上学习过程中产生的数据，包括学习单元评分，学习累计进度，学习累计时间，学习异常状态等。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取预设长度的样品文字数据；
根据样品文字数据进行目标语音数据采样，得到目标语音原始数据；
构建语音识别模型；
将目标原始数据导入语音识别模型；
语音识别模型根据目标语音原始数据与样品文字数据进行基于单个文字数据的语音分隔，得到多个单位语音数据与单位文字数据；
将单位语音数据进行语音识别与频率特征提取，得到单位语音特征；
将单位语音特征与对应的单位文字数据进行标记映射，得到语音识别映射表。
需要说明的是，所述预设长度一般为50~100个文字字符。所述文字字符可以为中文字符或英文字母。所述语音识别模型包括ASRT和DeepSpeechRecognition语音系统。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取样品文字数据；
以当前时间作为随机种子，将样品文字数据根据预设测试长度进行随机选取，得到测试文字数据；
将测试文字数据进行基于单个文字数据的数据分隔，得到单位测试文字数据；
根据单位测试文字数据，从语音识别映射表中进行映射检索，得到对应的单位语音特征；
获取目标测试语音数据，根据目标测试语音数据进行数据分隔与特征提取，得到单位测试语音特征；
将单位语音特征与单位测试语音特征进行特征相似度对比得到单位语音识别相似度；
计算分析出所有单位语音识别相似度并进行均值处理，得到语音识别率。
需要说明的是，所述预设测试长度一般为10到30个文字字符长度。所述获取目标测试语音数据为根据预设时间间隔进行获取，所述预设时间间隔一般为10到20分钟。
另外，所述语音识别映射表为基于目标对象正确语音数据得到的映射表，具有验证测试数据的作用。本发明通过获取目标测试语音数据进行特征提取与验证，从而能够在学习过程中方便快捷地对测试对象进行语音验证，进一步判定当前测试对象是否为目标对象，实现了对有效性学习的高效判断。
根据本发明实施例，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，还包括：
判断比较语音识别率，若当前语音识别率小于预设识别率，则判定为语音识别不通过，并获取当前第一时间；
检索历史语音识别率，获取上一次语音识别不通过的时间，得到第二时间；
根据第一时间与第二时间将对应的学习过程数据进行语音识别异常标记，得到语音异常学习数据。
根据本发明实施例，所述根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率，具体为：
获取学习过程数据；
将眼球异常学习数据、语音异常学习数据和学习过程数据进行数据占比分析，得到非异常数据占比率；
将非异常数据占比率作为总体学习有效率。
需要说明的是，所述学习过程数据为总体数据，包括眼球异常学习数据、语音异常学习数据和非异常学习数据。
根据本发明实施例，还包括：
判断总体学习有效率；
若总体学习有效率小于预设有效率，则根据眼球异常学习数据、语音异常学习数据进行数据汇总，得到异常学习数据；
根据异常学习数据从学习资料库中进行检索分析，得到补充学习数据；
根据总体学习有效率的大小，将补充学习数据进行相应的数据减量，得到附加学习数据；
将附加学习数据增添至学习过程数据中得到新的学习过程数据。
需要说明的是，所述根据总体学习有效率的大小，将补充学习数据进行相应的数据减量中，若总体学习有效率越大，则减少补充学习数据的量越大，得到的附加学习数据量也越小。所述预设有效率一般为70%。
根据本发明实施例，还包括：
获取目标群体中每个目标对象的总体学习有效率；
根据所述总体学习有效率进行综合分析，得到目标群体平均学习有效率；
将每个目标对象的总体学习有效率与预设最低学习有效率进行比较与分组，得到大于等于预设最低学习有效率的第一目标群体与小于预设最低学习有效率的第二目标群体；
根据平均学习有效率、第一目标群体数量和第二目标群体数量综合分析出线上教师的教学有效率；
根据教学有效率的大小，生成针对第一目标群体与第二目标群体的教学调整方案。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被处理器执行时，实现如上述任一项所述的线上学习有效性判断方法的步骤。
本发明公开了一种线上学习有效性判断方法、系统及介质。通过获取目标对象学习图像数据进行初步人脸识别认证，并分析出眼部图像中眼球的眼白和瞳孔的特征，得到眼球异常学习数据，从而有效分析出线上学员在学习过程中的学习状态与有效学习持续时间。另外，通过提前获取目标语音数据，运用语音识别模型进行语音特征提取，得到有效验证的语音特征，并通过随机文字的组合进行语音测试得到准确的语音识别结果，根据语音识别结果进行分析，进一步得到在线学员准确的有效学习时间。通过本发明，有效提高了对于在线学习有效性判断的准确度，能够精准地分析出每个在线学员的学习状态、学习专注度与有效学习时间，从而得到有针对性的学习数据。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种线上学习有效性判断方法，其特征在于，包括：
获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
2.根据权利要求1所述的一种线上学习有效性判断方法，其特征在于，所述获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果，具体为：
获取目标对象学习图像数据；
根据目标对象学习图像数据进行人脸图像分割，得到人脸图像数据；
将人脸图像数据进行五官特征分析得到目标特征数据；
根据目标对象从人脸特征数据库中检索出对应的人脸验证特征数据；
将目标特征数据与人脸验证特征数据进行特征对比分析，得到人脸验证结果。
3.根据权利要求1所述的一种线上学习有效性判断方法，其特征在于，所述若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息，具体为：
根据目标对象学习图像数据进行脸部区域分割与眼球区域识别，得到眼部图像数据；
将眼部图像数据进行灰度转化与眼球特征分析，得到基于灰度图像的眼白区域图像信息和瞳孔区域图像信息；
根据眼白相对位置与瞳孔相对位置进行位移量分析，结合预设位移方向，得到眼球专注方向移动异常信息；
根据眼部图像数据进行灰度转化得到灰度眼部图像数据；
在学习过程中，判断灰度眼部图像数据是否存在瞳孔特征数据；
若分析出不存在瞳孔特征数据，则获取瞳孔特征数据不存在的开始时间与结束时间；
将所述开始时间与结束时间进行分析计算，得到眼球数据异常时间信息；
将眼球专注方向移动异常信息与眼球数据异常时间信息进行信息合并得到眼球验证异常信息。
4.根据权利要求1所述的一种线上学习有效性判断方法，其特征在于，所述根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据，具体为：
获取眼球验证异常信息中的眼球专注方向移动异常信息和眼球数据异常时间信息；
根据眼球专注方向移动异常信息，获取学习过程中的专注方向移动异常持续时间；
根据眼球数据异常时间信息得到眼球数据异常持续时间；
将专注方向移动异常持续时间和眼球数据异常持续时间进行时间重叠合并，得到眼球异常持续时间；
根据眼球异常持续时间进行学习过程数据异常标记，得到眼球异常学习数据。
5.根据权利要求1所述的一种线上学习有效性判断方法，其特征在于，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取预设长度的样品文字数据；
根据样品文字数据进行目标语音数据采样，得到目标语音原始数据；
构建语音识别模型；
将目标原始数据导入语音识别模型；
语音识别模型根据目标语音原始数据与样品文字数据进行基于单个文字数据的语音分隔，得到多个单位语音数据与单位文字数据；
将单位语音数据进行语音识别与频率特征提取，得到单位语音特征；
将单位语音特征与对应的单位文字数据进行标记映射，得到语音识别映射表。
6.根据权利要求5所述的一种线上学习有效性判断方法，其特征在于，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，具体为：
获取样品文字数据；
以当前时间作为随机种子，将样品文字数据根据预设测试长度进行随机选取，得到测试文字数据；
将测试文字数据进行基于单个文字数据的数据分隔，得到单位测试文字数据；
根据单位测试文字数据，从语音识别映射表中进行映射检索，得到对应的单位语音特征；
获取目标测试语音数据，根据目标测试语音数据进行数据分隔与特征提取，得到单位测试语音特征；
将单位语音特征与单位测试语音特征进行特征相似度对比得到单位语音识别相似度；
计算分析出所有单位语音识别相似度并进行均值处理，得到语音识别率。
7.根据权利要求6所述的一种线上学习有效性判断方法，其特征在于，所述根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据，还包括：
判断比较语音识别率，若当前语音识别率小于预设识别率，则判定为语音识别不通过，并获取当前第一时间；
检索历史语音识别率，获取上一次语音识别不通过的时间，得到第二时间；
根据第一时间与第二时间将对应的学习过程数据进行语音识别异常标记，得到语音异常学习数据。
8.根据权利要求1所述的一种线上学习有效性判断方法，其特征在于，所述根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率，具体为：
获取学习过程数据；
将眼球异常学习数据、语音异常学习数据和学习过程数据进行数据占比分析，得到非异常数据占比率；
将非异常数据占比率作为总体学习有效率。
9.一种线上学习有效性判断系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被所述处理器执行时实现如下步骤：
获取目标对象学习图像数据，根据目标对象学习图像数据进行人脸识别与核对，得到人脸验证结果；
若人脸验证结果为正确，则根据目标对象学习图像数据进行眼球图像跟踪分析，得到眼球验证异常信息；
根据眼球验证异常信息将学习过程数据进行异常标记，得到眼球异常学习数据；
根据预设时间进行语音识别验证，得到语音验证异常信息，根据语音验证结果将学习过程数据进行异常标记，得到语音异常学习数据；
根据眼球异常学习数据和语音异常学习数据进行学习有效性分析，得到总体学习有效率。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括线上学习有效性判断方法程序，所述线上学习有效性判断方法程序被处理器执行时，实现如权利要求1至8中任一项所述的线上学习有效性判断方法的步骤。
CN202211121808.6A 2022-09-15 2022-09-15 一种线上学习有效性判断方法、系统及介质 Pending CN115240263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211121808.6A CN115240263A (zh) 2022-09-15 2022-09-15 一种线上学习有效性判断方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211121808.6A CN115240263A (zh) 2022-09-15 2022-09-15 一种线上学习有效性判断方法、系统及介质

Publications (1)

Publication Number Publication Date
CN115240263A true CN115240263A (zh) 2022-10-25

Family

ID=83681711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211121808.6A Pending CN115240263A (zh) 2022-09-15 2022-09-15 一种线上学习有效性判断方法、系统及介质

Country Status (1)

Country Link
CN (1) CN115240263A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN108062737A (zh) * 2017-12-23 2018-05-22 合肥微商圈信息科技有限公司 一种基于人脸识别的网上教育系统及其方法
CN110333774A (zh) * 2019-03-20 2019-10-15 中国科学院自动化研究所 一种基于多模态交互的远程用户注意力评估方法及系统
CN110600033A (zh) * 2019-08-26 2019-12-20 北京大米科技有限公司 学习情况的评估方法、装置、存储介质及电子设备
CN111639702A (zh) * 2020-05-29 2020-09-08 深圳壹账通智能科技有限公司 一种多媒体数据分析方法、设备、服务器及可读存储介质
CN114885216A (zh) * 2022-04-26 2022-08-09 深圳市企鹅网络科技有限公司 习题推送方法、系统、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516280A (zh) * 2015-11-30 2016-04-20 华中科技大学 一种多模态学习过程状态信息压缩记录方法
CN108062737A (zh) * 2017-12-23 2018-05-22 合肥微商圈信息科技有限公司 一种基于人脸识别的网上教育系统及其方法
CN110333774A (zh) * 2019-03-20 2019-10-15 中国科学院自动化研究所 一种基于多模态交互的远程用户注意力评估方法及系统
CN110600033A (zh) * 2019-08-26 2019-12-20 北京大米科技有限公司 学习情况的评估方法、装置、存储介质及电子设备
CN111639702A (zh) * 2020-05-29 2020-09-08 深圳壹账通智能科技有限公司 一种多媒体数据分析方法、设备、服务器及可读存储介质
CN114885216A (zh) * 2022-04-26 2022-08-09 深圳市企鹅网络科技有限公司 习题推送方法、系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
EP2785058A1 (en) Video advertisement broadcasting method, device and system
CN110210301B (zh) 基于微表情评价面试者的方法、装置、设备和存储介质
CN111126553A (zh) 智能机器人面试方法、设备、存储介质及装置
KR102331162B1 (ko) 전자 장치에 의해 수행되는 태권도 동작 평가 및 분석 방법
CN109462603A (zh) 基于盲检测的声纹认证方法、设备、存储介质及装置
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN111597305B (zh) 实体标记方法、装置、计算机设备和存储介质
CN111221960A (zh) 文本检测方法、相似度计算方法、模型训练方法及装置
CN112347997A (zh) 一种试题检测识别方法、装置、电子设备及介质
CN115798022A (zh) 一种基于特征提取的人工智能识别方法
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN113361396A (zh) 多模态的知识蒸馏方法及系统
CN114971425B (zh) 数据库信息监控方法、装置、设备及存储介质
CN114399827B (zh) 基于面部微表情的高校毕业生职业性格测试方法及系统
CN115240263A (zh) 一种线上学习有效性判断方法、系统及介质
CN112949305B (zh) 负反馈信息采集方法、装置、设备及存储介质
CN115082041A (zh) 用户信息管理方法、装置、设备及存储介质
CN111652767B (zh) 用户画像构建方法、装置、计算机设备和存储介质
CN112990147A (zh) 一种涉政图像的识别方法、装置、电子设备及存储介质
CN112131889A (zh) 基于大数据的智能语文主观题评分方法和系统
Le Automated Transcription for Pre-Modern Japanese Kuzushiji Documents by Random Lines Erasure and Curriculum Learning
Craw Recognising face features and faces
Chinapas et al. Personal verification system using thai ID Card and face photo for cross-age face
CN111291352B (zh) 标签数据的生成方法和装置
Furuta et al. A method for authentication of examinees during e-testing using their styles of handwriting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221025