CN107422858A - 辅助学习方法、装置与终端 - Google Patents

辅助学习方法、装置与终端 Download PDF

Info

Publication number
CN107422858A
CN107422858A CN201710603710.7A CN201710603710A CN107422858A CN 107422858 A CN107422858 A CN 107422858A CN 201710603710 A CN201710603710 A CN 201710603710A CN 107422858 A CN107422858 A CN 107422858A
Authority
CN
China
Prior art keywords
learning
period
audio
video
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710603710.7A
Other languages
English (en)
Inventor
吴家隐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing High Tech Zone Light Intelligent Technology Development Co Ltd
Original Assignee
Zhaoqing High Tech Zone Light Intelligent Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing High Tech Zone Light Intelligent Technology Development Co Ltd filed Critical Zhaoqing High Tech Zone Light Intelligent Technology Development Co Ltd
Priority to CN201710603710.7A priority Critical patent/CN107422858A/zh
Publication of CN107422858A publication Critical patent/CN107422858A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Library & Information Science (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供一种辅助学习方法，所述方法包括：采集脑电波；录制音频与/或视频；根据脑电波对学习状态划分级别，所述学习状态包括低效学习期及瞌睡期；对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；根据语音识别结果设置文字标签；获取文字标签的选择结果并播放对应时间段的音频与/或视频。本发明还提供了一种辅助学习装置和终端，解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题，能够节省复习时间，突出复习重点。

Description

辅助学习方法、装置与终端
技术领域
本发明涉及教育领域，具体而言，涉及一种辅助学习方法、装置与终端。
背景技术
当人所处状态不同时，脑电波的频率也不同。根据频率，脑电波可以按频率由低到高分为δ波、θ波、α波、β波等。当频率于8-13Hz的α波段为优势脑电波时，人体进入放松性警觉状态，主意力高度集中，记忆效果好，创造力强，是学习的最佳状态。当频率于13-25Hz的β波为优势脑电波时时，人体处于紧张状态，此时往往课堂气氛过于紧张或压力过大，学生感到厌烦或恐惧。此时大脑过于兴奋或紧张，注意力难于集中，记忆力下降，不容易产生创意，学习能力受到压抑。频率于4-8Hz的θ波为优势脑电波时，人体处于半醒半睡的朦胧状态，学习效率低。频率于4Hz以下的δ波为优势脑电波时，人体处于深度睡眠，无法学习。
上课时，学生在长时间的听课过程中难以始终保持的最佳学习状态。大脑经历从能够高效学习的高效期，再到思考、学习状态差的低效期。学生往往难以在理解、记忆低效期时教师所讲授的内容，因而产生知识盲点。传统方式下，学生在通过课堂上录制的音视频进行复习时，往往需要从头开始回放视频，耗费时间多，重点不突出，而且容易漏掉处于低效学习期的内容，造成知识盲点。
针对上述现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的问题，目前尚未提出有效的解决方案。
发明内容
本发明旨在至少在一定程度上解决上述技术问题。
本发明实施例提供了一种辅助学习方法与装置，以解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题。
根据本发明实施例的一个方面，提供了一种辅助学习方法，包括：
S110：采集脑电波；
S120：录制音频与/或视频；
S130：根据脑电波对学习状态划分级别，所述学习状态包括低效学习期及瞌睡期；
S140：对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
S150：根据语音识别结果设置文字标签；
S160：获取文字标签的选择结果并播放对应时间段的音频与/或视频。
在一种优选的方案中，所述根据脑电波对学习状态划分级别步骤还包括：
S131：对所采集的脑电波进行预处理；
S132：提取所述经预处理的脑电波的特征信息；
S133：根据所述特征信息对学习状态划分级别。
在一种优选的方案中，根据所述特征信息对学习状态划分级别步骤还包括：
S134：确定采样周期的优势波段；
S135：计算状态判断时间内低效学习波段比例P及睡眠波段比例Q；
S136：根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别。
所述低效学习波段比例P的计算公式为：
。
所述睡眠波段比例Q的计算公式为：
。
其中：
M为状态判断时间内，当前优势波段为α波时的采样周期数量；
N为状态判断时间内，当前优势波段为β波时的采样周期数量；
L为状态判断时间内，当前优势波段为δ波或θ波时的采样周期数量。
在一种优选的方案中，根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别步骤包括：
当低效学习波段比例P小于第一阈值时，则判断状态判断时间内学习状态处于高效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q小于第二阈值时，则判断状态判断时间内学习状态处于低效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q大于第二阈值时，则判断状态判断时间内学习状态处于瞌睡期。
在一种优选的方案中，所述根据语音识别结果设置标签步骤包括：
S151：根据语音识别结果生成对应的文字内容；
S152：根据所述文字内容提取关键词；
S153：将所述关键词设置为标签。
在一种优选的方案中，获取文字标签的选择结果并播放对应时间段的音频与/或视频步骤包括：
S161：获取文字标签的选择结果；
S162：显示所述文字标签对应时间段的文字内容；
S163：当获取到播放指令，播放对应时间段内的音频与/或视频。
根据本发明实施例的一个方面，提供了一种辅助学习装置，包括：
采集模块，用于采集脑电波；
录制模块，用于录制音频或视频；
分级模块，用于根据脑电波对学习状态划分级别；
识别模块，用于对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
标签模块，用于根据语音识别结果设置文字标签；
播放模块，用于获取文字标签的选择结果并播放对应时间段的音频与/或视频。
在一种优选的方案中，所述装置还包括：
时间关联模块，用于关联脑电波时间与音频与/或视频时间。
在一种优选的方案中，所述分级模块还包括：
预处理单元，用于对所采集的脑电波进行预处理；
特征提取单元，用于提取所述经预处理的脑电波的特征信息；
状态分级单元，用于根据所述特征信息对学习状态划分级别。
在一种优选的方案中，所述分级模块还包括：
确定单元，用于确定采样周期的优势波段；
计算单元，用于计算状态判断时间内低效学习波段比例P及睡眠波段比例Q；
判断单元，用于根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别。
在一种优选的方案中，所述分级模块还包括：
第一判断单元，用于当低效学习波段比例P小于第一阈值时，判断状态判断时间内学习状态处于高效学习期；
第二判断单元，用于当低效学习波段比例P大于第一阈值，且睡眠波段比例Q小于第二阈值时，判断状态判断时间内学习状态处于低效学习期；
第三判断单元，用于当低效学习波段比例P大于第一阈值，且睡眠波段比例Q大于第二阈值时，判断状态判断时间内学习状态处于瞌睡期。
在一种优选的方案中，所述标签模块还包括：
文字单元，用于根据语音识别结果生成对应时间段的文字内容；
提取单元，用于根据所述文字内容提取关键词；
设置单元，用于将所述关键词设置为标签。
在一种优选的方案中，所述播放模块还包括：
获取单元，用于获取文字标签的选择结果；
显示单元，用于显示所述文字标签对应时间段的文字内容；
播放单元，用于当获取到播放指令，播放对应时间段内的音频与/或视频。
与现有技术相比，本发明技术方案的优点有：
1、通过计算和对比低效学习波段比例P和睡眠波段比例Q，对各时间段中用户的学习状态划分级别，有利于筛选出处于低效学习期间，尤其是瞌睡期间的具体时间；
2、根据语音识别结果设置标签，可以使用户迅速查看到在低效学习期或瞌睡期对应的标签，该标签反映了该时间段内音频或视频的主要内容，方便用户判断是否有必要回放该视频，也方便用户在复习时定位所需要的音频或视频内容；
3、用户可以按标签快速播放所需要的视频，尤其是处于低效学习期或瞌睡期的视频，不需要将视频全部查看，节省视频回放时间，可以有针对性、有重点地复习，防止知识盲点的形成，提高复习效率；
4、在用户点击、选择文字标签时，获取单元获取到用户对文字标签的选择结果，显示单元显示所述文字标签在对应时间段内，语音识别的文字内容。用户在点击播放按钮，或输入播放命令时，播放单元播放对应时间段内的音频与/或视频。在获取文字标签的选择结果后显示对应时间段的文字，有利于用户迅速浏览该时间段的所讲授的内容，从而可以判断是否有必要播放该时间段内的音频与/或视频。
本发明解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题，提供一种能够节省复习时间，突出复习重点的辅助学习方法、装置与终端。
附图说明
图1为本发明实施例的一种辅助学习方法流程图。
图2为本发明实施例的一种辅助学习方法根据脑电波对学习状态划分级别步骤流程图。
图3为本发明实施例的一种辅助学习方法根据所述特征信息对学习状态划分级别步骤流程图。
图4为本发明实施例的一种辅助学习方法设置标签步骤流程图。
图5为本发明又一实施例的一种辅助学习方法流程图。
图6为本发明实施例的一种辅助学习装置结构示意图。
图7为本发明实施例的一种辅助学习装置分级模块结构示意图。
图8为本发明实施例的一种辅助学习装置标签模块结构示意图。
图9为本发明实施例的一种辅助学习装置播放模块结构示意图。
图10为本发明实施例的一种辅助学习终端结构示意图。
其中：2、辅助学习装置；3、辅助学习终端；210、采集模块；220、录制模块；230、分级模块；231、预处理单元；232、特征提取单元；233、状态分级单元；234、确定单元；235、计算单元；236、判断单元；237、第一判断单元；238、第二判断单元；239、第三判断单元；240、识别模块；250、标签模块；251、文字单元；252、提取单元；253、设置单元；260、播放模块；261、获取单元；262、显示单元；263、播放单元；270、时间关联模块；301、脑电波采集组件；302、处理组件；303、存储器；304、摄像头；305、音频输入组件；306、输出组件；320、处理器。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本发明实施例提供了一种辅助学习方法，包括：
S110：采集脑电波；
S120：录制音频与/或视频；
S130：根据脑电波对学习状态划分级别，所述学习状态包括低效学习期及瞌睡期；
S140：对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
S150：根据语音识别结果设置文字标签；
S160：获取文字标签的选择结果并播放对应时间段的音频与/或视频。
在一种示例性实施例中，采集脑电波的采样间隔为1至3秒，采样长度为5至10秒。
在具体实施过程中，在所述录制音频或视频步骤后还包括：关联脑电波时间与音频与/或视频时间。根据现实时间中的对应关系，将脑电波的时间与视频中的时间关联起来。
在具体实施过程中，如图2所示，所述根据脑电波对学习状态划分级别步骤还包括：
S131：对所采集的脑电波进行预处理；
S132：提取所述经预处理的脑电波的特征信息；
S133：根据所述特征信息对学习状态划分级别。
具体地，由于脑电信号比较弱，在采集、传输过程中容易受到影响，因此需要对所采集的脑电波进行预处理，进行降噪、去伪迹，预处理的方法包括：采用时域分析方法、频域分析方法、小波变换或小波包变换等方法。
在一种示例性实施例中，利用小波包变换，可以提取所述经小波包变换预处理后的脑电波的特征信息。选取db4作为小波基，根据脑电波的输出频率，及脑电波的频率划分，小波包的分解层数优选为6层，利用小波包分解系数作为特征可以提取到δ波、θ波、α波及β波的功率谱。
在具体实施过程中，如图3所示，根据所述特征信息对学习状态划分级别步骤还包括：
S134：确定采样周期的优势波段；
S135：计算状态判断时间内低效学习波段比例P及睡眠波段比例Q；
S136：根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别。
具体的，确定采样周期的优势波段步骤中，比较每个采样周期中对应的特征信息中δ波、θ波、α波及β波的能量分布情况，确定能量占比最大的波段为该采样周期的优势波段。
具体地，计算状态判断时间内低效学习波段比例P及睡眠波段比例Q步骤中，根据由若干个连续脑电波采样周期组成的状态判断时间内，δ波、θ波、α波及β波占优势波段的采样周期的数量，计算学习波段比例P及睡眠波段比例Q。
所述低效学习波段比例P的计算公式为：
。
所述睡眠波段比例Q的计算公式为：
。
其中：
M为状态判断时间内，当前优势波段为α波时的采样周期数量；
N为状态判断时间内，当前优势波段为β波时的采样周期数量；
L为状态判断时间内，当前优势波段为δ波或θ波时的采样周期数量。
具体地，根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别步骤包括：
当低效学习波段比例P小于第一阈值时，则判断状态判断时间内学习状态处于高效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q小于第二阈值时，则判断状态判断时间内学习状态处于低效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q大于第二阈值时，则判断状态判断时间内学习状态处于瞌睡期。
在一种示例性实施例中，所述第一阈值为0.4。
在一种示例性实施例中，所述第二阈值为0.5。
例如， T1（10点55分10秒-10点55分15秒）、T2（10点55分16秒-10点55分21秒）、T3（10点55分22秒-10点55分27秒）、T4（10点55分28秒-10点55分33秒）、T5（10点55分34秒-10点55分39秒）为5个连续的脑电波采样周期，其中T1、T2为α波占优势波段、T5为β波占优势波段，T4、T3为优势波段为δ波或θ波。则按照低效学习波段比例P的计算公式可得P=0.6，大于第一阈值为0.4；按照睡眠波段比例Q的计算公式可得Q=0.66，大于第二阈值0.5。因此，在T1到T5时间段内，该时间段内学习状态处于瞌睡期。
具体地，所述的由若干个连续脑电波采样周期组成的状态判断时间，可以是监测到第一个δ波或θ波为优势波的采样周期开始计算的连续n个采样周期，n可以是固定的正整数，也可以根据上课时间、历史记录、用户习惯动态调整。在一种示范性实施例中，n可以是5，即从监测到第一个δ波或θ波为优势波的采样周期，连续5个采样周期作为状态判断时间。
通过计算和对比低效学习波段比例P和睡眠波段比例Q，对各时间段中用户的学习状态划分级别，有利于筛选出处于低效学习期间，尤其是瞌睡期间的具体时间。
在具体实施过程中，根据脑电波对学习状态划分级别步骤后，将学习状态与所录制音频或视频对应的时间段关联起来，将学习状态级别设置为关联时间段内视频的属性。如，在10点55分10秒-10点55分39秒之间，根据脑电波分析判断的结果，用户处于瞌睡期，则将10点55分10秒-10点55分39秒所录制的音视频关联到10点55分10秒-10点55分39秒的脑电波，且设置10点55分10秒-10点55分39秒所录制的音视频的属性为瞌睡期。
将学习状态与所录制音频或视频对应的时间段关联起来，将学习状态级别设置为关联时间段内视频的属性，有利于从视频中甄别出处于低效学习期和\或瞌睡期的视频。
具体地，对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别步骤中，语音识别可以采用现有的语音识别引擎，如科大讯飞、百度语音、微软等提供的相关技术，也可以通过动态时间归正技术、矢量量化技术、隐马尔可夫模型、基于段长分布的非齐次隐含马尔可夫模型、人工神经元网络或深度学习等方式实现语音识别，由于其为本领域技术人员的常规技术手段，故此处不再赘述。
在具体实施过程中，如图4所示，所述根据语音识别结果设置标签步骤包括：
S151：根据语音识别结果生成对应时间段的文字内容；
S152：根据所述文字内容提取关键词；
S153：将所述关键词设置为标签。
根据语音识别结果设置标签，可以使用户迅速查看到在低效学习期或瞌睡期对应的标签，该标签反映了该时间段内音频或视频的主要内容，方便用户判断是否有必要回放该视频，也方便用户在复习时定位所需要的音频或视频内容。
具体地，根据所述文字内容提取关键词步骤中，提取关键词的主要方法包括：基于统计特征的方法，基于词语网络的方法和基于语义分析的方法。
具体地，根据所述文字内容提取关键词步骤中，所述关键词数量为一个；所述将所述关键词设置为标签步骤中，将所获得的唯一关键词设置为标签。
具体地，获取文字标签的选择结果并播放对应时间段的音频与/或视频步骤中，用户在点击文字标签时，获取文字标签的选择结果，播放对应时间段的音频与/或视频。
在具体实施过程中，如图5所示，获取文字标签的选择结果并播放对应时间段的音频与/或视频步骤包括：
S161：获取文字标签的选择结果；
S162：显示所述文字标签对应时间段的文字内容；
S163：当获取到播放指令，播放对应时间段内的音频与/或视频。
在用户点击、选择文字标签时，显示出所述文字标签在对应时间段内，语音识别的文字内容。用户在点击播放按钮，或输入播放命令时，播放对应时间段内的音频与/或视频。在获取文字标签的选择结果后显示对应时间段的文字，有利于用户迅速浏览该时间段的所讲授的内容，从而可以判断是否有必要播放该时间段内的音频与/或视频。如，当在用户进入低效期时，该段时间为教师要求学生自习，并无实质性讲解内容。此时语音识别后的文字是大段的空白或没有涉及实质讲课内容的教师维持课堂纪律的文字，如“请大家保持安静”等。用户在点击选取到文字标签后，发现该时间段是这些没有实质讲课内容的文字后，可以不播放该时间段内的音频或视频，节省复习时间。
用户可以按标签快速播放所需要的视频，尤其是处于低效学习期或瞌睡期的视频，不需要将视频全部查看，节省视频回放时间，可以有针对性、有重点地复习，防止知识盲点的形成，提高复习效率。
本发明实施例解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题，提供一种能够节省复习时间，突出复习重点的辅助学习方法。
实施例2
如图6所示，本发明实施例提供了一种辅助学习装置2，包括：
采集模块210，用于采集脑电波；
录制模块220，用于录制音频或视频；
分级模块230，用于根据脑电波对学习状态划分级别；
识别模块240，用于对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
标签模块250，用于根据语音识别结果设置文字标签；
播放模块260，用于获取文字标签的选择结果并播放对应时间段的音频与/或视频。
在具体实施过程中，如图6所示，所述装置2还包括：
时间关联模块270，用于关联脑电波时间与音频与/或视频时间。
时间关联模块根据现实时间中的对应关系，将脑电波的时间与视频中的时间关联起来。
在具体实施过程中，如图7所示，所述分级模块230还包括：
预处理单元231，用于对所采集的脑电波进行预处理；
特征提取单元232，用于提取所述经预处理的脑电波的特征信息；
状态分级单元233，用于根据所述特征信息对学习状态划分级别。
具体地，由于脑电信号比较弱，在采集、传输过程中容易受到影响，因此需要对所采集的脑电波进行预处理，进行降噪、去伪迹，预处理的方法包括：采用时域分析方法、频域分析方法、小波变换或小波包变换等方法。
在一种示例性实施例中，利用小波包变换，可以提取所述经小波包变换预处理后的脑电波的特征信息。选取db4作为小波基，根据脑电波的输出频率，及脑电波的频率划分，小波包的分解层数优选为6层，利用小波包分解系数作为特征可以提取到δ波、θ波、α波及β波的功率谱。
在具体实施过程中，如图7所示，所述分级模块230还包括：
确定单元234，用于确定采样周期的优势波段；
计算单元235，用于计算状态判断时间内低效学习波段比例P及睡眠波段比例Q；
判断单元236，用于根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别。
具体的，确定单元用于比较每个采样周期中对应的特征信息中δ波、θ波、α波及β波的能量分布情况，确定能量占比最大的波段为该采样周期的优势波段。
具体的，计算单元用于根据计算状态判断时间内，δ波、θ波、α波及β波占优势波段的采样周期的数量，计算学习波段比例P及睡眠波段比例Q。
所述低效学习波段比例P的计算公式为：
。
所述睡眠波段比例Q的计算公式为：
。
其中，
M为状态判断时间内，当前优势波段为α波时的采样周期数量；
N为状态判断时间内，当前优势波段为β波时的采样周期数量；
L为状态判断时间内，当前优势波段为δ波或θ波时的采样周期数量。
具体地，如图7所示，所述分级模块230还包括：
第一判断单元237，用于当低效学习波段比例P小于第一阈值时，判断状态判断时间内学习状态处于高效学习期；
第二判断单元238，用于当低效学习波段比例P大于第一阈值，且睡眠波段比例Q小于第二阈值时，判断状态判断时间内学习状态处于低效学习期；
第三判断单元239，用于当低效学习波段比例P大于第一阈值，且睡眠波段比例Q大于第二阈值时，判断状态判断时间内学习状态处于瞌睡期。
在一种示例性实施例中，所述第一阈值为0.4。
在一种示例性实施例中，所述第二阈值为0.5。
例如， T1（10点55分10秒-10点55分15秒）、T2（10点55分16秒-10点55分21秒）、T3（10点55分22秒-10点55分27秒）、T4（10点55分28秒-10点55分33秒）、T5（10点55分34秒-10点55分39秒）为5个连续的脑电波采样周期，其中T1、T2为α波占优势波段、T5为β波占优势波段，T4、T3为优势波段为δ波或θ波。则按照低效学习波段比例P的计算公式可得P=0.6，大于第一阈值为0.4；按照睡眠波段比例Q的计算公式可得Q=0.66，大于第二阈值0.5。因此，在T1到T5时间段内，该时间段内学习状态处于瞌睡期。
通过计算和对比低效学习波段比例P和睡眠波段比例Q，对各时间段中用户的学习状态划分级别，有利于筛选出处于低效学习期间，尤其是瞌睡期间的具体时间。
在具体实施过程中，如图8所示，所述标签模块250还包括：
文字单元251，用于根据语音识别结果生成对应时间段的文字内容；
提取单元252，用于根据所述文字内容提取关键词；
设置单元253，用于将所述关键词设置为标签。
根据语音识别结果设置标签，可以使用户迅速查看到在低效学习期或瞌睡期对应的标签，该标签反映了该时间段内音频或视频的主要内容，方便用户判断是否有必要回放该视频，也方便用户在复习时定位所需要的音频或视频内容。
在具体实施过程中，如图9所示，所述播放模块260还包括：
获取单元261，用于获取文字标签的选择结果；
显示单元262，用于显示所述文字标签对应时间段的文字内容；
播放单元263，用于当获取到播放指令，播放对应时间段内的音频与/或视频。
在用户点击、选择文字标签时，获取单元获取到用户对文字标签的选择结果，显示单元显示所述文字标签在对应时间段内，语音识别的文字内容。用户在点击播放按钮，或输入播放命令时，播放单元播放对应时间段内的音频与/或视频。在获取文字标签的选择结果后显示对应时间段的文字，有利于用户迅速浏览该时间段的所讲授的内容，从而可以判断是否有必要播放该时间段内的音频与/或视频。如，当在用户进入低效期时，该段时间为教师要求学生自习，并无实质性讲解内容。此时语音识别后的文字是大段的空白或没有涉及实质讲课内容的教师维持课堂纪律的文字，如“请大家保持安静”等。用户在点击选取到文字标签后，发现该时间段是这些没有实质讲课内容的文字后，可以不播放该时间段内的音频或视频，节省复习时间。
用户可以按标签快速播放所需要的视频，尤其是处于低效学习期或瞌睡期的视频，不需要将视频全部查看，节省视频回放时间，可以有针对性、有重点地复习，防止知识盲点的形成，提高复习效率。
本发明实施例解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题，提供一种能够节省复习时间，突出复习重点的辅助学习装置。
实施例3
如图10所示，本实施例提供了一种辅助学习终端3，包括：
脑电波采集组件301、处理组件302、存储器303、摄像头304、音频输入组件305和输出组件306。
脑电波采集组件301可以采集脑电波信号，并连接到处理组件。在一种示例性实施例中，脑电波采集组件为ThinkGear AM模块或者TGAM模块，该模块通过前额电极和耳垂处的电位获得脑电波。通过脑电波采集组件捕获脑电波信号，处理后筛选出脑波频谱、脑电信号质量、原始脑电波等数据，传输到处理组件。
处理组件302通常用于辅助学习终端3的整体操作，诸如与处理脑电波信号，发起视频采集，计算分析，数据通信和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。在一种示例性实施例中，所述处理组件302的型号为树莓派3（Raspberry Pi 3）。
存储器303被配置为存储各种类型的数据以支持在辅助学习终端3的操作。这些数据的示例包括用于在辅助学习终端3上操作的任何应用程序或方法的指令，用户数据及其他消息、图片和音视频等。存储器303可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
摄像头304与处理组件302电连接，用于获取视频图像并传输到处理组件302。
音频输入组件305与处理组件302电连接，用于获取音频信号并传输到处理组件302。
输出组件306与处理组件302连接，用于输出文字、视频、图片或音频信息。输出组件306可以包括显示屏，也可以包括音箱、喇叭或耳机等音频输出设备。输出组件的连接方式可以通过内部总线相连接，也可以通过VGA、DVI、DP、HDMI等视频输出线、音频输出线及USB线等外部线缆进行连接。在一种示例性实施例中，输出组件306还可以为触控屏，用于显示文字、视频和图片信息并获取用户触控信息。
在示例性实施例中，处理组件302、存储组件303可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器303，上述指令可由辅助学习终端3的处理器320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例的有益效果为：解决现有技术中通过课堂上录制的音视频进行复习时耗费时间长，重点不突出，造成在听课效率低时产生知识盲点难以消除的技术问题，提供一种能够节省复习时间，突出复习重点的辅助学习终端。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种辅助学习方法，其特征在于，所述方法包括：
采集脑电波；
录制音频与/或视频；
根据脑电波对学习状态划分级别，所述学习状态包括低效学习期及瞌睡期；
对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
根据语音识别结果设置文字标签；
获取文字标签的选择结果并播放对应时间段的音频与/或视频。
2.根据权利要求1所述的辅助学习方法，其特征在于，所述根据语音识别结果设置标签步骤包括：
根据语音识别结果生成对应的文字内容；
根据所述文字内容提取关键词；
将所述关键词设置为标签。
3.根据权利要求2所述的辅助学习方法，其特征在于，所述获取文字标签的选择结果并播放对应时间段的音频与/或视频步骤包括：
获取文字标签的选择结果；
显示所述文字标签对应时间段的文字内容；
当获取到播放指令，播放对应时间段内的音频与/或视频。
4.根据权利要求1至3之一所述的辅助学习方法，其特征在于，所述根据脑电波对学习状态划分级别步骤还包括：
对所采集的脑电波进行预处理；
提取所述经预处理的脑电波的特征信息；
根据所述特征信息对学习状态划分级别。
5.根据权利要求4所述的辅助学习方法，其特征在于，所述根据所述特征信息对学习状态划分级别步骤包括：
确定采样周期的优势波段；
计算状态判断时间内低效学习波段比例P及睡眠波段比例Q；
根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别；
其中，所述低效学习波段比例P的计算公式为：
；
所述睡眠波段比例Q的计算公式为：
；
其中：
M为状态判断时间内，当前优势波段为α波时的采样周期数量；
N为状态判断时间内，当前优势波段为β波时的采样周期数量；
L为状态判断时间内，当前优势波段为δ波或θ波时的采样周期数量。
6.根据权利要求5所述的辅助学习方法，其特征在于，根据低效学习波段比例P及睡眠波段比例Q判断状态判断时间内的学习状态级别步骤包括：
当低效学习波段比例P小于第一阈值时，则判断状态判断时间内学习状态处于高效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q小于第二阈值时，则判断状态判断时间内学习状态处于低效学习期；
当低效学习波段比例P大于第一阈值，且睡眠波段比例Q大于第二阈值时，则判断状态判断时间内学习状态处于瞌睡期。
7.一种辅助学习装置，其特征在于，所述装置包括：
采集模块，用于采集脑电波；
录制模块，用于录制音频或视频；
分级模块，用于根据脑电波对学习状态划分级别；
识别模块，用于对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
标签模块，用于根据语音识别结果设置文字标签；
播放模块，用于获取文字标签的选择结果并播放对应时间段的音频与/或视频。
8.根据权利要求7所述的辅助学习装置，其特征在于，所述标签模块还包括：
文字单元，用于根据语音识别结果生成对应时间段的文字内容；
提取单元，用于根据所述文字内容提取关键词；
设置单元，用于将所述关键词设置为标签。
9.根据权利要求8所述的辅助学习装置，其特征在于，所述播放模块还包括：
获取单元，用于获取文字标签的选择结果；
显示单元，用于显示所述文字标签对应时间段的文字内容；
播放单元，用于当获取到播放指令，播放对应时间段内的音频与/或视频。
10.一种辅助学习终端，其特征在于，所述终端包括：
脑电波采集组件、处理组件、存储器、摄像头、音频输入组件和输出组件；
所述脑电波采集组件，用于采集脑电波信号并传输到所述处理组件；
所述处理组件；
所述存储器，用于存储处理器可执行指令及数据；
所述摄像头，用于获取视频图像并传输到所述处理组件；
所述音频输入组件，用于获取音频信号并传输到所述处理组件；
所述输出组件与处理组件连接，用于显示文字、视频和图片信息；
其中，所述处理组件被配置为：
采集脑电波；
录制音频与/或视频；
根据脑电波对学习状态划分级别，所述学习状态包括低效学习期及瞌睡期；
对低效学习期或瞌睡期所录制的音频与/或视频中的语音进行语音识别；
根据语音识别结果设置文字标签；
获取文字标签的选择结果并播放对应时间段的音频与/或视频。
CN201710603710.7A 2017-07-23 2017-07-23 辅助学习方法、装置与终端 Pending CN107422858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710603710.7A CN107422858A (zh) 2017-07-23 2017-07-23 辅助学习方法、装置与终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710603710.7A CN107422858A (zh) 2017-07-23 2017-07-23 辅助学习方法、装置与终端

Publications (1)

Publication Number Publication Date
CN107422858A true CN107422858A (zh) 2017-12-01

Family

ID=60429956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710603710.7A Pending CN107422858A (zh) 2017-07-23 2017-07-23 辅助学习方法、装置与终端

Country Status (1)

Country Link
CN (1) CN107422858A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196672A (zh) * 2017-12-28 2018-06-22 福州市鼓楼区智搜信息科技有限公司 一种能根据学生听课状况自动切换教学方式的系统及其实现方法
CN108597264A (zh) * 2017-12-28 2018-09-28 福州市鼓楼区智搜信息科技有限公司 一种可追溯复习的教学系统及其实现方法
CN108924608A (zh) * 2018-08-21 2018-11-30 广东小天才科技有限公司 一种视频教学的辅助方法及智能设备
CN111523310A (zh) * 2020-04-01 2020-08-11 北京大米未来科技有限公司 数据处理方法、数据处理装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074235A (zh) * 2010-12-20 2011-05-25 上海华勤通讯技术有限公司 视频语音识别并检索的方法
CN103473297A (zh) * 2013-09-05 2013-12-25 北京邮电大学 一种基于智能移动终端的多媒体问答系统和方法
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN104091478A (zh) * 2014-07-08 2014-10-08 肖文芳 随问随答学习机以及网络学习系统
CN104809920A (zh) * 2015-04-01 2015-07-29 广东小天才科技有限公司 一种个性化的学习方法和学习装置
CN104916176A (zh) * 2015-07-08 2015-09-16 广东小天才科技有限公司 一种课堂录音设备及录音方法
CN105868419A (zh) * 2016-06-02 2016-08-17 泉港区奇妙工业设计服务中心 一种童伴机器人搜索学习装置
CN106297448A (zh) * 2016-08-29 2017-01-04 刘金光 一种计算机教学系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074235A (zh) * 2010-12-20 2011-05-25 上海华勤通讯技术有限公司 视频语音识别并检索的方法
CN103679591A (zh) * 2012-09-25 2014-03-26 山东博学教育软件科技有限公司 一种远程学习状态监测系统及方法
CN103473297A (zh) * 2013-09-05 2013-12-25 北京邮电大学 一种基于智能移动终端的多媒体问答系统和方法
CN104091478A (zh) * 2014-07-08 2014-10-08 肖文芳 随问随答学习机以及网络学习系统
CN104809920A (zh) * 2015-04-01 2015-07-29 广东小天才科技有限公司 一种个性化的学习方法和学习装置
CN104916176A (zh) * 2015-07-08 2015-09-16 广东小天才科技有限公司 一种课堂录音设备及录音方法
CN105868419A (zh) * 2016-06-02 2016-08-17 泉港区奇妙工业设计服务中心 一种童伴机器人搜索学习装置
CN106297448A (zh) * 2016-08-29 2017-01-04 刘金光 一种计算机教学系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108196672A (zh) * 2017-12-28 2018-06-22 福州市鼓楼区智搜信息科技有限公司 一种能根据学生听课状况自动切换教学方式的系统及其实现方法
CN108597264A (zh) * 2017-12-28 2018-09-28 福州市鼓楼区智搜信息科技有限公司 一种可追溯复习的教学系统及其实现方法
CN108924608A (zh) * 2018-08-21 2018-11-30 广东小天才科技有限公司 一种视频教学的辅助方法及智能设备
CN111523310A (zh) * 2020-04-01 2020-08-11 北京大米未来科技有限公司 数据处理方法、数据处理装置、存储介质和电子设备
CN111523310B (zh) * 2020-04-01 2023-06-13 北京大米未来科技有限公司 数据处理方法、数据处理装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
Leonard et al. The temporal relation between beat gestures and speech
US10013977B2 (en) Smart home control method based on emotion recognition and the system thereof
Howard et al. Discrimination of speech stimuli based on neuronal response phase patterns depends on acoustics but not comprehension
CN107422858A (zh) 辅助学习方法、装置与终端
Soleymani et al. Continuous emotion detection using EEG signals and facial expressions
Wang et al. Multi-modal emotion recognition using EEG and speech signals
CN107391679A (zh) 辅助复习方法、装置与设备
CN111144367B (zh) 基于手势识别的辅助语义识别方法
US10942563B2 (en) Prediction of the attention of an audience during a presentation
Delaherche et al. Multimodal coordination: exploring relevant features and measures
US10573335B2 (en) Methods, systems and apparatuses for inner voice recovery from neural activation relating to sub-vocalization
CN107230395A (zh) 智能学习方法、装置与终端
US20190147760A1 (en) Cognitive content customization
US11456004B2 (en) Methods and systems for augmenting audio content
WO2022100692A1 (zh) 人声音频录制方法和装置
CN108595406B (zh) 一种用户状态的提醒方法、装置、电子设备及存储介质
Ramsay et al. The intrinsic memorability of everyday sounds
CN111158490B (zh) 基于手势识别的辅助语义识别系统
Fresno Is a picture worth a thousand words? The role of memory in audio description
Milne et al. Sustained pupil responses are modulated by predictability of auditory sequences
US20190103110A1 (en) Information processing device, information processing method, and program
CN107154191B (zh) 习题生成方法、装置、服务器与系统
Ghaemmaghami et al. Brain and music: Music genre classification using brain signals
US10477136B2 (en) Display mode determining device, display, display mode determining method, and non-transitory storage medium
CN114913974A (zh) 一种谵妄评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171201