CN107492375A - 一种课堂行为分析方法和系统 - Google Patents
一种课堂行为分析方法和系统 Download PDFInfo
- Publication number
- CN107492375A CN107492375A CN201610416091.6A CN201610416091A CN107492375A CN 107492375 A CN107492375 A CN 107492375A CN 201610416091 A CN201610416091 A CN 201610416091A CN 107492375 A CN107492375 A CN 107492375A
- Authority
- CN
- China
- Prior art keywords
- module
- analysis
- classroom
- analysis module
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000003542 behavioural effect Effects 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010835 comparative analysis Methods 0.000 claims description 2
- 230000001755 vocal effect Effects 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 1
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 1
- 102100021133 Nuclear protein 1 Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Educational Technology (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种课堂行为分析方法和系统，系统设置有课堂音频数据模块、语音识别模块、第一分析模块、第二分析模块以及信息统计模块，方法包括：S1、课堂音频数据模块将多路音视频数据信息发送给语音识别模块；S2、语音识别模块在对课堂音频数据模块产生的语音信息识别成文字和某个人的声音，然后将这两部分识别出的内容分别发送给第二分析模块和第一分析模块；S3、第一分析模块对语音识别模块发送过来语音的数据信息进行记录；第二分析模块对语音识别模块发送过来的文字内容进行匹配分析；S4、信息统计模块将第一分析模块和第二分析模块分析的结果进行汇总、生成统计表格。本发明提出的课堂行为分析方法和系统可显著提高助学者的统计效率和统计准确度。
Description
技术领域
本发明涉及教研分析领域，更具体地说，涉及一种基于计算机语音识别和处理技术的课堂行为分析系统的方法。
背景技术
近几年，互联网教育企业利用互联网的便利，纷纷推出自己的软硬件教育产品，特别是录播产品的推出，让中小学的教育与互联网深度结合；现在的COP教研系统就是通过录播系统来对教师的课堂教学行为进行定量分析，从而提升老师教学水平的一个系统服务平台，录播系统将整堂课的音频视频都存储成相应的音频视频文件，助学者通过该文件分析老师的讲话时间，学生的讲话时间以及老师提问类型的统计数据得出一张从时间上和频次上分析老师、学生是否在互动，互动的深度等等的统计分析表格。但是目前助学者主要是通过人工观看音视频文件，记录老师、学生的讲话时长以及统计老师提问类型，非常的费时费力。
发明内容
针对助学者人工分析课堂录播费时费力且准确度低的问题，提供一种课堂行为分析方法及系统，应用最新的语音识别及人工智能技术，自动完成统计表格，并且在准确度上有大幅度的提高，极大地提高了统计效率。
本发明解决技术问题采用的技术手段是提供一种课堂行为分析方法，使用包含课堂音频数据模块、语音识别模块、第一分析模块、第二分析模块以及信息统计模块，所述方法包括以下步骤：
S1、所述语音识别模块从所述课堂音频数据模块采集音频数据；
S2、所述语音识别模块对从所述课堂音频数据模块采集到的音频数据进行 两路语音识别，将语音识别成文字，发送给第二分析模块；以及通过语音的声音识别，区别出是某个人的声音，发送给第一分析模块；
S3、优选的，所述第一分析模块每隔特定的时间采样一次，对所述语音识别模块发送过来语音的包括开始时间、持续时长以及出现的频次的行为数据信息进行记录；所述第二分析模块对所述语音识别模块发送过来的文字内容进行匹配分析；
S4、所述信息统计模块将所述第一分析模块和第二分析模块分析的结果进行统计汇总，生成供助学者参考的表格。
在本发明上述课堂行为分析方法中，所述步骤S3包括以下子步骤：
S31、优选的，所述第一分析模块每隔特定的时间采样一次，如果对所述语音识别模块发送过来的识别结果为老师的声音，就记录下老师声音的包括开始时间、持续时长以及出现的频次的行为数据信息，若判定为学生的声音，则记录学生声音的包括开始时间、持续时长以及出现的频次的行为数据信息；
S32、所述第二分析模块将所述语音识别模块发送过来的一串文字，通过大量预置关键词匹配对比或/和人工智能识别分析，分析出文字是否属于问题以及属于何种类型的问题。
在本发明上述课堂行为分析方法中，所述第二分析模块对所述语音识别模块发送过来的文字内容进行关键词匹配对比或/和人工智能识别分析，判断文字内容是否属于提问，若是提问且其属于预置在所述第二分析模块的问题类型，则记录它包括出现的数量、频度、类型的信息，若不属于预置在所述第二分析模块的问题类型，结束匹配判断；对属于预置在所述第二分析模块的问题类型的提问，对出现的数量频度等信息按问题类型进行分析汇总，生成供助学者参考的一份表格。
在本发明上述课堂行为分析方法中，所述问题类型包括是何、为何、如何、若何四种问题类型中的至少一种。
按照本发明提供的一种课堂行为分析系统，包括课堂音频数据模块、对语音信息进行处理和识别的语音识别模块、记录老师学生行为数据信息的第一分析模块、对语音识别文字进行深层次分析的第二分析模块以及进行信息汇总的 信息统计模块。
在本发明上述课堂行为分析系统中，所述课堂音频数据模块从系统外部或内部记录或保存课堂端的多路音视频数据，产生出相应的音视频文件，分发和传输给所述语音识别模块；所述语音识别模块在对所述课堂音频数据模块产生的语音信息进行语音识别，将语音识别成文字发送给第二分析模块，所述语音识别模块识别出来的某个人的声音发送给所述第一分析模块；所述第一分析模块每隔特定的时间采样一次，对所述语音识别模块发送过来的某个人声音的开始时间、持续时长以及出现频次数据信息进行记录，所述第二分析模块将所述语音识别模块发送过来的识别文字，进行匹配对比分析；所述第一分析模块和第二分析模块将分析记录结果发送给所述信息统计模块，所述信息统计模块对分析记录结果进行汇总，生成表格。
在本发明上述课堂行为分析系统中，还包括视频辅助分析模块，在课堂端采集音频、视频信号的信息视频采集模块，所述信息视频采集模块将其中音频信号传输给所述课堂音频数据模块，将其中视频信号传输给所述视频辅助分析模块，用于对来自信息视频采集模块的视频信号进行包括人脸、口型在内的生物特征的视觉识别，以视频分析识别结果传送到所述第一分析模块以提高识别精度。
在本发明上述课堂行为分析系统中，所述语音识别模块对所述课堂音频数据模块发送过来的音频数据进行语音识别，所述语音识别模块识别出来的某个人的声音发送给所述第一分析模块，所述第一分析模块记录某个人包括声音的开始时间，持续时长以及出现的频次的行为数据信息。
在本发明上述课堂行为分析系统中，所述语音识别模块对所述课堂音频数据模块发送过来的音视频进行识别，所述语音识别模块识别出来的文字发送给所述第二分析模块进行匹配分析，所述语音识别模块预先存储有老师声纹以实现课堂行为的精确分析。
在本发明上述课堂行为分析系统中，所述第二分析模块对所述语音识别模块发送过来的数据信息是否属于预置在所述第二分析模块中的提问问题以及问题类型进行匹配分析。
有益效果
实施本发明提出的课堂行为分析方法和系统，有如下有益效果：通过对音视频的信息的语音识别和分析，可以智能地、高效准确地得出教研分析结果，而“四何”问题分析的结果，便于大数据调研和处理，在现有的COP教研领域，降低了助学者的工作繁琐度，使助学者从大量的人工操作和费时费力的工作中解脱出来，提高了助学者的工作效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是现有录播系统框架图；
图2是本发明实施例使用的教研分析系统的模块图；
图3是本发明实施例提供的课堂行为分析方法的逻辑框图；
图4是本发明实施例中第一分析模块语音处理流程图；
图5是本发明实施例中第二分析模块分析语义处理流程示意图；
图6是本发明实施例中第二分析模块对某一堂课的提问问题匹配分析生成示意性表格；
具体实施方式
图1是现有录播系统100系统框架图，图2是本发明实施例的课堂行为分析系统200模块示意图，本发明的方法和系统均依赖于计算机、网络通信和数据转换和处理等，参考图1和图2课堂行为分析系统200包括有提供课堂音频信号数据的课堂音频数据模块210、对语音数据进行初步处理和语音识别的语音识别模块220、用于区分识别特定人的声音并进行记录的第一分析模块230、把语音识别成文字并进行深层次分析的第二分析模块240以及信息统计模块250。其中，课堂音频数据模块210可以是音频数据采集、存储和接入，是本发明系统中课堂音频信号的来源，作为采集，可以是通过话筒等设备对音频信号进行收集和处理，作为存储，可以是存储有预先采集好的音频数据；作为接入，可以是通信端口，接入来自另一通信方提供的音频数据。
如图2所示，在本发明提供的课堂行为分析系统200中，包括课堂音频数据模块210，用于提供课堂的音频数据，课堂音频数据模块210在工作时把音 频数据分发给语音识别模块220，语音识别模块220对课堂的整个音(视)频数据进行初期处理，将其语音识别成某个特定人的声音和文字，分别分发给第一分析模块230和第二分析模块240，信息统计模块250对第一分析模块230和第二分析模块240发送过来的信息进行汇总统计，生成表格601。
如图1，现有技术的录播系统100很多情况下是应用在教室里，在教室里将整堂课产品的音频、视频全部收集起来进行处理，多路音频叠加成一路给主机处理，从而产生一个音视频文件进行分享和传播。
在本发明提供的课堂行为分析方法实施例中，如图2，在录播开始前，语音识别模块220事先录入一段指定老师的声音作为特定声纹数据并加以存储，一方面，语音识别模块220将课堂音频数据模块210提供的整个课堂上产生的语音信息与事先录制存储指定老师的声音进行对比，进而判定采样语音信息是否为指定老师的声音，如判断不是老师的声音则判定为学生的声音，为第一分析模块230的进一步工作做准备；另一方面，语音识别模块220将判定出来的语音识别成文字，将文字发送给第二分析模块240进一步做深层次的分析。
在本实施例中，第一分析模块230对语音识别模块220发送过来的指定人的语音信息进行统计记录，对该语音包括开始的时间、持续的时间长度以及后续出现的频次作为行为数据信息进行统计和记录，发送给信息统计模块250。
第一分析模块230的功能也可由三个模块或者两个模块的组合来实现对某个人声音的包括开始时间、持续时长以及出现的频次的行为数据信息的记录。
优选的，第一分析模块230的功能在判断不是老师声音的时候，可以默认判定为学生的行为，同时记录学生的包括开始时间、持续时长以及出现的频次的行为数据信息。
在本实施例中，第二分析模块240对语音识别模块220发送过来的文字信息进行深层次的复杂的分析：第二分析模块240预存储“四何”问题的比对内容，然后通过对语音识别模块220发送过来的文字信息进行大量的比对、甚至是人工智能的识别等技术手段来判断其是否为问题，进一步地，判断其为哪一种类型的问题，如“是何”问题、“为何”问题、“如何”问题以及“若何”问 题等预置在第二分析模块230中的问题，并记录该问题的数量频度，将其发送给信息统计模块250。
其中，信息统计模块250把第一分析模块230和第二分析模块240发送过来的分析记录结果信息进行汇总融合，最终生成一个表格601供助学者使用参考。
在本发明上述课堂行为分析系统中，还包括视频辅助分析模块202，在课堂端采集音频、视频信号的信息视频采集模块201，所述信息视频采集模块201将其中音频信号传输给所述课堂音频数据模块210，将其中视频信号传输给所述视频辅助分析模块202，用于对来自信息视频采集模块201的视频信号进行包括人脸、口型在内的生物特征的视觉识别，以视频分析识别结果传送到所述第一分析模块230以提高识别精度。
图3是本发明实施例的课堂行为分析方法的逻辑框图，图4是本发明实施例使用的第一分析模块语音处理流程图，图5是本发明实施例中使用的“四何”问题分析语义处理流程图，参考图3-图5，本发明课堂行为分析方法包括以下步骤：
S1、课堂音频数据模块210提供课堂端的多路音(视)频、整个教学场景的画面，产生出一个音视频文件，分发和传播给语音识别模块220进行处理和识别，所述多路音视频包括多路老师板书、老师学生特写等等的多路视频以及多路音频叠加成一路的音频；
S2、语音识别模块220在对课堂音频数据模块210提供的语音信息进行识别，识别模块分为两个部分，一部分是将语音识别成文字，另一部分通过语音的声音识别，区别出是某个人的声音，本实施例中，至少预存老师的声音作为声纹数据，此时，不属于老师的声音均认为是学生的声音；
S3、优选的，第一分析模块230每隔特定的时间采样一次，对语音识别模块220发送过来的语音信息进行处理，第二分析模块240对语音识别模块220发送过来的文字进行深层次的分析；
S4、信息统计模块250将第一分析模块230和第二分析模块240分析的结果进行汇总，生成供助学者参考的表格601。
本实例中、步骤S3包括以下子步骤：
S31、第一分析模块230对发送过来的语音进行分析，优选的，每隔特定的时间(例如5分钟，例如3分钟)采样一次：例如开始在步骤231监听语音信息，在步骤232进行语音识别，与事先存储的指定人的语音信息比对分析，步骤233通过与与事先存储的指定人的语音信息的比对分析，监听到的语音信息进行判断；若步骤234判定为指定老师的声音，则记录下老师包括声音开始的时间，持续时长以及出现频次的行为数据信息；否则步骤235记录为学生的包括开始时间、时长以及频次的行为数据信息；
S32、第二分析模块240将语音识别成一串文字，对文字进行匹配分析判断；
具体地说，步骤S32还包括如下步骤：在步骤2401的课堂教学行为分析开始，监听语音信息，在步骤2402开始语音识别，将声音识别成一串文字，步骤2403对文字进行匹配分析，这里的匹配分析，是通过对比判断，甚至人工智能的语法和语义分析识别等，要分析出文字是否属于问题，步骤2404判断该串文字是否属于提问，到2405步骤；判断如果不是提问，则到2414步骤；2405对该串文字进一步分析，结合四何问题的特征，通过匹配分析对比判断，甚至人工智能的识别等；得出初步分析结果，到2406步骤；步骤2406判断是否属于‘是何’问题；如果是，则到2407步骤；否则到2408步骤；步骤2407记录下‘是何’问题的数量频度等信息，进而到2414步骤；步骤2408判断是否属于‘为何’问题；如果是，则到2409步骤；否则到2410步骤，步骤2409记录下‘为何’问题的数量频度等信息，进而到2410步骤；步骤2410判断是否属于‘如何’问题；如果是，则到2411步骤；否则到2412步骤；步骤2411记录下‘如何’问题的数量频度等信息，进而到2414步骤，步骤2412判断是否属于‘若何’问题；如果是，则到2413步骤，否则到2414步骤，步骤2413记录下‘若何’问题的数量频度等信息，进而到下一步骤241N；241N步骤判断提问内容是否属于预置在第二分析模块240的其他问题，若是则记下问题的数量频度等，否则到2402步骤，进行下一个提问问题内容匹配分析循环；
图6是本发明实施例使用的第二分析模块对某一堂课提问问题的内容匹配 比对分析汇总图，当如图6中所有分析判断结束后，信息统计模块250对第二分析模块分析的结果进行统计汇总，生成一份供助学者参考的表格601，参考图6，第二列是“是何”问题的参数统计，开始时间分别为：14：05、14：30，持续时长分别为5分钟、2分钟，共出现两次，图6中还可以看到其他提问问题的参数统计。
以上所述上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种课堂行为分析方法，其特征在于，包含课堂音频数据模块(210)、语音识别模块(220)、第一分析模块(230)、第二分析模块(240)以及信息统计模块(250)，所述方法包括以下步骤：
S1、所述语音识别模块(220)从所述课堂音频数据模块(210)采集音频数据；
S2、所述语音识别模块(220)对从所述课堂音频数据模块(210)采集到的音频数据进行两路语音识别，将语音识别成文字，发送给第二分析模块(240)；以及通过语音的声音识别，区别出是某个人的声音，发送给第一分析模块(230)；
S3、所述第一分析模块(230)对所述语音识别模块(220)发送过来语音的包括开始时间、持续时长以及出现的频次的行为数据信息进行记录；所述第二分析模块(240)对所述语音识别模块(220)发送过来的文字内容进行匹配分析；
S4、所述信息统计模块(250)将所述第一分析模块(230)和第二分析模块(240)分析的结果进行统计汇总，生成供助学者参考的表格(601)。
2.根据权利要求1所述一种课堂行为分析方法，其特征在于，所述步骤S3包括以下子步骤：
S31、所述第一分析模块(230)如果对所述语音识别模块(220)发送过来的识别结果为老师的声音，就记录下老师声音的包括开始时间、持续时长以及出现的频次的行为数据信息，若判定为学生的声音，则记录学生声音的包括开始时间、持续时长以及出现的频次的行为数据信息；
S32、所述第二分析模块(240)将所述语音识别模块(220)发送过来的一串文字，通过大量预置关键词匹配对比或/和人工智能识别分析，分析出文字是否属于问题以及属于何种类型的问题。
3.根据权利要求2所述一种课堂行为分析方法，其特征在于，所述第二分析模块(240)对所述语音识别模块(220)发送过来的文字内容进行关键词匹配对比或/和人工智能识别分析，判断文字内容是否属于提问，若是提问且其属于预置在所述第二分析模块(240)的问题类型，则记录它包括出现的数量、频度、类型的信息，若不属于预置在所述第二分析模块(240)的问题类型，结束匹配判断；对属于预置在所述第二分析模块(240)的问题类型的提问，对出现的数量频度等信息按问题类型进行分析汇总，生成供助学者参考的一份表格(601)。
4.根据权利要求3所述一种课堂行为分析方法，其特征在于，所述问题类型包括是何、为何、如何、若何四种问题类型中的至少一种。
5.一种课堂行为分析系统，其特征在于，包括课堂音频数据模块(210)、对语音信息进行处理和识别的语音识别模块(220)、记录老师学生行为数据信息的第一分析模块(230)、对语音识别文字进行深层次分析的第二分析模块(240)以及进行信息汇总的信息统计模块(250)。
6.根据权利要求5所述一种课堂行为分析系统，其特征在于，所述课堂音频数据模块(210)从系统外部或内部记录或保存课堂端的多路音视频数据，产生出相应的音视频文件，分发和传输给所述语音识别模块(220)；所述语音识别模块(220)在对所述课堂音频数据模块(210)产生的语音信息进行语音识别，将语音识别成文字发送给第二分析模块(240)，所述语音识别模块(220)识别出来的某个人的声音发送给所述第一分析模块(230)；所述第一分析模块(230)对所述语音识别模块(220)发送过来的某个人声音的开始时间、持续时长以及出现频次数据信息进行记录，所述第二分析模块(240)将所述语音识别模块(220)发送过来的识别文字，进行匹配对比分析；所述第一分析模块(230)和第二分析模块(240)将分析记录结果发送给所述信息统计模块(250)，所述信息统计模块(250)对分析记录结果进行汇总，生成表格(601)。
7.根据权利要求6所述一种课堂行为分析系统，其特征在于，还包括视频辅助分析模块(202)，在课堂端采集音频、视频信号的信息视频采集模块(201)，所述信息视频采集模块(201)将其中音频信号传输给所述课堂音频数据模块(210)，将其中视频信号传输给所述视频辅助分析模块(202)，用于对来自信息视频采集模块(201)的视频信号进行包括人脸、口型在内的生物特征的视觉识别，以视频分析识别结果传送到所述第一分析模块(230)以提高识别精度。
8.根据权利要求6或7所述一种课堂行为分析系统，其特征在于，所述语音识别模块(220)对所述课堂音频数据模块(210)发送过来的音频数据进行语音识别，所述语音识别模块(220)识别出来的某个人的声音发送给所述第一分析模块(230)，所述第一分析模块(230)记录某个人包括声音的开始时间，持续时长以及出现的频次的行为数据信息。
9.根据权利要求6或7所述一种课堂行为分析系统，其特征在于，所述语音识别模块(220)对所述课堂音频数据模块(210)发送过来的音视频进行识别，所述语音识别模块(220)识别出来的文字发送给所述第二分析模块(240)进行匹配分析，所述语音识别模块(230)预先存储有老师声纹以实现课堂行为的精确分析。
10.根据权利要求6或7所述一种课堂行为分析系统，其特征在于，所述第二分析模块(240)对所述语音识别模块(220)发送过来的数据信息是否属于预置在所述第二分析模块(240)中的提问问题以及问题类型进行匹配分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610416091.6A CN107492375A (zh) | 2016-06-13 | 2016-06-13 | 一种课堂行为分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610416091.6A CN107492375A (zh) | 2016-06-13 | 2016-06-13 | 一种课堂行为分析方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107492375A true CN107492375A (zh) | 2017-12-19 |
Family
ID=60642300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610416091.6A Pending CN107492375A (zh) | 2016-06-13 | 2016-06-13 | 一种课堂行为分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492375A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107886781A (zh) * | 2017-12-26 | 2018-04-06 | 重庆大争科技有限公司 | 基于音频教学的文档教案生成系统 |
| CN108109444A (zh) * | 2017-12-26 | 2018-06-01 | 重庆大争科技有限公司 | 基于音频教学的文档教案生成方法 |
| CN108256512A (zh) * | 2018-03-22 | 2018-07-06 | 长春大学 | 听障生融合教育课堂辅助系统及装置 |
| CN108616584A (zh) * | 2018-04-19 | 2018-10-02 | 华南师范大学 | 一种基于xAPI的智慧课堂数据采集方法及系统 |
| CN108648757A (zh) * | 2018-06-14 | 2018-10-12 | 北京中庆现代技术股份有限公司 | 一种基于多维度课堂信息的分析方法 |
| CN108920513A (zh) * | 2018-05-31 | 2018-11-30 | 深圳市图灵机器人有限公司 | 一种多媒体数据处理方法、装置和电子设备 |
| CN109085988A (zh) * | 2018-07-17 | 2018-12-25 | 长沙师范学院 | 一种基于场景分析的课堂教育机器人控制系统及方法 |
| CN109447863A (zh) * | 2018-10-23 | 2019-03-08 | 广州努比互联网科技有限公司 | 一种4mat实时分析方法及系统 |
| CN111402641A (zh) * | 2020-05-06 | 2020-07-10 | 陈俞伶 | 一种基于互动的课堂教学分析系统及方法 |
| CN112585662A (zh) * | 2018-06-26 | 2021-03-30 | 西门子股份公司 | 用于自动共享过程知识的方法和系统 |
| CN112672183A (zh) * | 2020-12-30 | 2021-04-16 | 南京伯索网络科技有限公司 | 一种直播课堂中语音分组讨论的监管方法和系统 |
| CN114067391A (zh) * | 2021-10-22 | 2022-02-18 | 北京金茂教育科技有限公司 | 识别课堂教学视频中行为的方法及装置 |
| CN114998968A (zh) * | 2022-06-16 | 2022-09-02 | 北京理工大学 | 一种基于音视频分析课堂交互行为的方法 |
-
2016
- 2016-06-13 CN CN201610416091.6A patent/CN107492375A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108109444A (zh) * | 2017-12-26 | 2018-06-01 | 重庆大争科技有限公司 | 基于音频教学的文档教案生成方法 |
| CN107886781A (zh) * | 2017-12-26 | 2018-04-06 | 重庆大争科技有限公司 | 基于音频教学的文档教案生成系统 |
| CN108256512A (zh) * | 2018-03-22 | 2018-07-06 | 长春大学 | 听障生融合教育课堂辅助系统及装置 |
| CN108616584A (zh) * | 2018-04-19 | 2018-10-02 | 华南师范大学 | 一种基于xAPI的智慧课堂数据采集方法及系统 |
| CN108920513B (zh) * | 2018-05-31 | 2022-03-15 | 深圳市图灵机器人有限公司 | 一种多媒体数据处理方法、装置和电子设备 |
| CN108920513A (zh) * | 2018-05-31 | 2018-11-30 | 深圳市图灵机器人有限公司 | 一种多媒体数据处理方法、装置和电子设备 |
| CN108648757A (zh) * | 2018-06-14 | 2018-10-12 | 北京中庆现代技术股份有限公司 | 一种基于多维度课堂信息的分析方法 |
| CN108648757B (zh) * | 2018-06-14 | 2020-10-16 | 北京中庆现代技术股份有限公司 | 一种基于多维度课堂信息的分析方法 |
| CN112585662A (zh) * | 2018-06-26 | 2021-03-30 | 西门子股份公司 | 用于自动共享过程知识的方法和系统 |
| CN109085988A (zh) * | 2018-07-17 | 2018-12-25 | 长沙师范学院 | 一种基于场景分析的课堂教育机器人控制系统及方法 |
| CN109447863A (zh) * | 2018-10-23 | 2019-03-08 | 广州努比互联网科技有限公司 | 一种4mat实时分析方法及系统 |
| CN111402641A (zh) * | 2020-05-06 | 2020-07-10 | 陈俞伶 | 一种基于互动的课堂教学分析系统及方法 |
| CN112672183A (zh) * | 2020-12-30 | 2021-04-16 | 南京伯索网络科技有限公司 | 一种直播课堂中语音分组讨论的监管方法和系统 |
| CN114067391A (zh) * | 2021-10-22 | 2022-02-18 | 北京金茂教育科技有限公司 | 识别课堂教学视频中行为的方法及装置 |
| CN114998968A (zh) * | 2022-06-16 | 2022-09-02 | 北京理工大学 | 一种基于音视频分析课堂交互行为的方法 |
| CN114998968B (zh) * | 2022-06-16 | 2024-05-31 | 北京理工大学 | 一种基于音视频分析课堂交互行为的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492375A (zh) | 一种课堂行为分析方法和系统 | |
| WO2018072390A1 (zh) | 一种课堂教学的录制和点播的方法及系统 | |
| CN109872587A (zh) | 多维教学数据的处理系统 | |
| CN109359215A (zh) | 视频智能推送方法和系统 | |
| CN106503074B (zh) | 一种题目细化分类方法 | |
| CN108563627B (zh) | 启发式语音交互方法及装置 | |
| CN107609736A (zh) | 一种综合应用人工智能技术的教学诊断分析系统及方法 | |
| CN111200737A (zh) | 一种视频直播平台的智能机器人辅助答疑系统及方法 | |
| CN108924651B (zh) | 基于训练操作识别的教学视频智能播放系统 | |
| CN108109444B (zh) | 基于音频教学的文档教案生成方法 | |
| CN110245253B (zh) | 一种基于环境信息的语义交互方法及系统 | |
| CN107886781B (zh) | 基于音频教学的文档教案生成系统 | |
| WO2022012605A1 (zh) | 基于预训练深度神经网络模型的用户流失预测系统 | |
| CN111651497A (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
| EP2962296A2 (de) | Wortwahlbasierte sprachanalyse und sprachanalyseeinrichtung | |
| CN106454491A (zh) | 一种智能播放视频中语音信息的方法及装置 | |
| Zhou | Application investigation and technological development of intelligent product in college English teaching | |
| CN115527404A (zh) | 一种人工智能自适应互动教学系统 | |
| Farr | Spoken language analysis as an aid to reflective practice in language teacher education: using a specialised corpus to establish a generic fingerprint | |
| CN114155754A (zh) | 一种交互式外语教学方法及装置 | |
| CN111508289A (zh) | 基于字词使用频率的语言学习系统 | |
| CN111950472A (zh) | 教师磨课测评方法及系统 | |
| CN113194331A (zh) | 旅游教学远程教学方法 | |
| CN110968669A (zh) | 一种智能视频分析警务试题归类推荐方法 | |
| Zhao et al. | Design and Implementation of a Teaching Verbal Behavior Analysis Aid in Instructional Videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171219 |