CN114254076A - 一种多媒体教学的音频处理方法、系统及存储介质 - Google Patents

Abstract

本发明公开了是一种多媒体教学的音频处理方法、系统及存储介质，本发明智能捕捉单元用于采集对象的音频信息，将音频信息与触发语料库进行匹配，当匹配成功生成目标音频并传输至音频转换单元，音频转换单元用于将目标音频转换成文字信息，当老师和/或学生描述内容时可以将音频信息转化为文字信息，多媒体显示模块用于将文字信息进行显示，减少了教师书写的时间和负担，能够适应课堂上教学的变化，辅助作用好，有利于提高教学效率；而当匹配成功生成目标音频并传输至音频转换单元，使得所转化的目标音频与教学内容相关，有利于减少音频转换单元转换无关内容而消耗的资源，本发明可广泛应用于教学技术领域。

Description

一种多媒体教学的音频处理方法、系统及存储介质

技术领域

本发明涉及教学领域，尤其是一种多媒体教学的音频处理方法、系统及存储介质。

背景技术

随着科学技术的发展多媒体教学逐渐出现在生活中，例如在学校内的课堂或者网上的远程教学中。通常，多媒体教学系统中配置有电脑、投影仪以及音响等，教学可以利用投影仪或者电脑进行教学材料的展示以方便学生阅读，然而，教师在使用多媒体教学系统时往往是通过PPT将教学内容展示出来，当教师需要补充额外的内容、回答问题或者学生对问题提出疑问、回答时都需要教师在多媒体系统上进行书写，增加了教师的负担，不能够适应课堂上教学的变化，辅助作用差，教学效率低。

发明内容

有鉴于此，为了解决上述技术问题的至少之一，本发明的目的是提供一种强化教学辅助作用的一种多媒体教学的音频处理方法、系统及存储介质。

本发明实施例采用的技术方案是：

一种多媒体教学的音频处理系统，包括：

语音识别模块，包括智能捕捉单元以及音频转换单元；所述智能捕捉单元用于采集对象的音频信息，将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频并传输至所述音频转换单元，所述对象包括老师和/或学生；所述音频转换单元用于将所述目标音频转换成文字信息；

多媒体显示模块，用于将所述文字信息进行显示。

进一步，所述智能捕捉单元包括采集单元以及匹配单元；

所述采集单元用于采集所述音频信息；

所述匹配单元用于将所述音频信息与触发语料库进行匹配；所述触发语料库包括多个触发语句；

当匹配成功，将所述音频信息中匹配成功的触发语句之后的信息确定为所述目标音频；

或者，

当匹配不成功，所述目标音频为空白音频。

进一步，所述多媒体显示模块包括第一展示单元以及第二展示单元；

所述第一展示单元用于展示教学资料，或者根据所述文字信息从所述教学资料中确定目标教学内容并展示；

所述第二展示单元用于展示所述文字信息，或者展示匹配成功的触发语句以及所述文字信息。

进一步，所述多媒体教学的音频处理系统还包括排版模块，所述排版模块包括第一处理单元，所述用于第一处理单元用于接收所述文字信息，并按照所述文字信息的接收时间或者生成时间的先后顺序发送至所述第二展示单元进行展示。

进一步，所述多媒体教学的音频处理系统还包括排版模块，所述排版模块包括第二处理单元，所述第二处理单元用于对所述文字信息进行分类确定学生信息以及教师信息，将所述学生信息以及所述教师信息进行对比，确定差异信息，将所述差异信息补充至所述学生信息中并对所述差异信息进行显著标注。

本发明实施例还提供一种多媒体教学的音频处理方法，包括：

采集对象的音频信息；所述对象包括老师和/或学生；

将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频，并将所述目标音频转换成文字信息；

将所述文字信息进行显示。

进一步，所述将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频，包括：

将所述音频信息与触发语料库进行匹配；所述触发语料库包括多个触发语句；

当匹配成功，将所述音频信息中匹配成功的触发语句之后的信息确定为所述目标音频；

或者，

当匹配不成功，所述目标音频为空白音频。

进一步，所述方法还包括：

获取教学资料；

将所述教学资料以及所述文字信息同时展示，或者根据所述文字信息从所述教学资料中确定目标教学内容并展示，或者展示匹配成功的触发语句以及所述文字信息。

进一步，所述方法还包括：

确定所述文字信息的生成时间；

根据所述生成时间的先后顺序对所述文字信息进行排列并展示。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。

本发明的有益效果是：通过设置语音识别模块，包括智能捕捉单元以及音频转换单元，智能捕捉单元用于采集对象的音频信息，将音频信息与触发语料库进行匹配，当匹配成功生成目标音频并传输至音频转换单元，对象包括老师和/或学生；音频转换单元用于将目标音频转换成文字信息，当老师和/或学生描述内容时可以将音频信息转化为文字信息，多媒体显示模块用于将文字信息进行显示，使得转换的文字信息可以直接显示，减少了教师书写的时间和负担，能够适应课堂上教学的变化，辅助作用好，有利于提高教学效率；而当匹配成功生成目标音频并传输至音频转换单元，使得所转化的目标音频与教学内容相关，有利于减少音频转换单元转换无关内容而消耗的资源。

附图说明

图1为本发明具体实施例多媒体教学的音频处理系统的示意图；

图2为本发明多媒体教学的音频处理方法的步骤示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，本发明实施例提供一种多媒体教学的音频处理系统，包括语音识别模块、多媒体显示模块以及排版模块。

本发明实施例中，语音识别模块包括智能捕捉单元以及音频转换单元。可选地，智能捕捉单元用于采集对象的音频信息，将音频信息与触发语料库进行匹配，当匹配成功生成目标音频并传输至音频转换单元；音频转换单元用于将目标音频转换成文字信息，音频转换单元内置音频转换器，采集后的音频信息经过声卡驱动转换为数字信号，数字信号经过音频转换器，转换得到文字信息。需要说明的是，对象包括但不限于老师以及学生，可以对老师以及学生的音频信息都进行采集并转换成文字信息。

可选地，智能捕捉单元包括采集单元以及匹配单元，采集单元用于采集音频信息，匹配单元用于将音频信息与触发语料库进行匹配。需要说明的是，触发语料库包括多个触发语句，触发语句相当于触发信号，当触发语句匹配成功后，能够触发音频转换单元进行音频文字的转换，例如触发语句包括但不限于“题目的答案是”、“还有个问题”、“我的答案是”、“同学们还有什么问题”等等，可以根据需要设定。具体地：

当匹配成功，将音频信息中匹配成功的触发语句之后的信息确定为目标音频；或者，当匹配不成功，目标音频为空白音频。

可选地，智能捕捉单元还包括搜索单元，搜索单元用于根据文字信息从教学资料中搜索对应的目标教学内容并通过多媒体显示模块展示，便于教师针对学生的问题进行讲解，省去了教师自主寻找课件步骤，进一步提高了教学效率。另外，搜索单元还用于确定匹配成功的触发语句并确定该触发语句对应的预先存储的文字内容，通过多媒体显示模块显示，减少音频转换单元的处理负担，有利于保证音频转换单元的正常工作。

本发明实施例中，多媒体显示模块，用于将文字信息进行显示。可选地，多媒体显示模块包括第一展示单元以及第二展示单元，第一展示单元用于展示教学资料或者根据文字信息从教学资料中确定目标教学内容并展示。第二展示单元用于展示文字信息以及展示匹配成功的触发语句以及文字信息。本发明实施例中，通过设置第一展示单元以及第二展示单元，使得教学资料以及转换的文字信息都可以同时显示，增强辅助作用以及有利于提高教学效率，并且有利于教师与学生之间的交互。

本发明实施例中，排版模块包括第一处理单元以及第二处理单元。

可选地，用于第一处理单元用于接收文字信息，并按照文字信息的接收时间或者生成时间的先后顺序发送至第二展示单元进行展示，从而使得在展示文字信息时能够按照时间排列并对应，能够清晰快速地看出问题对应的回答，有利于提高教学效率和质量。

可选地，排版模块包括第二处理单元，第二处理单元用于对文字信息进行分类确定学生信息以及教师信息，将学生信息以及教师信息进行对比，确定差异信息，将差异信息补充至学生信息中并对差异信息进行显著标注。需要说明的是，通过确定差异信息并至学生信息中并对差异信息进行显著标注，能够使得学生快速地找到错误的地方，便于学生学习和改正。可选地，显著标注包括但不限于不同文字颜色、文本突出显示颜色、字体尺寸加大、加粗和加下划线等等。

例如，当老师(即教师)提出一个问题时，学生回答问题说出答案，然后老师公布正确的答案，此时教师信息包含的教师答案，学生信息包含学生答案，此时第二处理单元会将学生答案与教师答案进行逐字对比，确定差异信息，并利用差异信息对学生答案进行补充，补充的差异信息部分显著标注(例如用红字显示)，从而便于学生找出自己的问题，这样实现教学多媒体与教师和学生的交互，以对老师的教学进行辅助，提高课堂的上课效率。

如图2所示，本发明实施例还提供一种多媒体教学的音频处理方法，包括步骤S100-S300：

S100、采集对象的音频信息。

可选地，对象包括老师以及学生，可以为学生以及教师分配配置对应的录音设备以获取对应的音频信息。本发明实施例中，采用Python语言的音频捕获算法采集对象的音频信息，具体地：根据选择的录音识别创建接口对象，调用directsound，DirectSoundCaptureCreate()方法创建音频捕获对象，其参数guid表示录音识别，可由directsound、DirectSoundCaptureEnumerate()函数返回值提供，也可以设为None，表示使用系统默认录音设备，然后为该接口创建缓冲区对象，声音捕获由缓冲区对象的函数完成，即调用PyIDirectSoundCapture.CreateCapyureBuffer.Start()开设采集例如教室内的音频信息，该函数的触发点可以为提前进行录入的相应的触发语句。

S200、将音频信息与触发语料库进行匹配，当匹配成功生成目标音频，并将目标音频转换成文字信息。

可选地，步骤S200中将音频信息与触发语料库进行匹配，当匹配成功生成目标音频，包括步骤S210-S220：

S210、将音频信息与触发语料库进行匹配；

本发明实施例中，触发语料库包括多个触发语句，包括但不限于“题目的答案是”、“还有个问题”、“我的答案是”、“同学们还有什么问题”等等，可以根据需要设定。

S220、当匹配成功，将音频信息中匹配成功的触发语句之后的信息确定为目标音频；

或者，

当匹配不成功，目标音频为空白音频。

具体地，当匹配成功，将音频信息中匹配成功的触发语句之后的信息确定为目标音频，例如老师的音频信息为“题目的答案是100”，此时将“100”确定为目标音频，传输至音频转换单元以将目标音频转换成文字信息。而当匹配不成功，即音频信息不具有触发语句，此时目标音频为空白音频，此时不需要转换任何的文字信息，即可以为不发送目标音频至音频转换单元，或者将空白音频发送至音频转换单元而音频转换单元不会进行任何的转换。本发明实施例中，通过触发语句的设定生成用于文字转换的目标音频，当匹配成功时才进行文字信息的转换有利于节省资源，减少音频转换单元转换无用的、与教学内容无关的音频信息从而造成的资源浪费，同时有利于避免无用的、与教学内容无关的内容影响教育的质量以及效果。

S300、将文字信息进行显示。

可选地，本发明实施例的多媒体教学的音频处理方法还包括步骤S400，步骤S400与S300不限定执行顺序，具体地：

S400、获取教学资料，将教学资料以及文字信息同时展示，或者根据文字信息从教学资料中确定目标教学内容并展示，或者展示匹配成功的触发语句以及文字信息。

具体地，通过第一展示单元展示教学资料，并同时通过第二展示单元展示转换得到的文字信息，将将教学资料以及文字信息同时展示，增强辅助作用以及有利于提高教学效率，并且有利于教师与学生之间的交互。

可选地，例如学生说“我还有个问题：XXX”，XXX转换为文字信息后，可以根据该文字信息从教师的教学资料中自动寻找对应的问题的目标教学内容，然后跳转到目标教学内容所在的页数进行展示，进一步提高教学效率。

可选地，例如当匹配成功的触发语句为“题目的答案是”，教师的音频信息为“题目的答案是100”，此时利用实现存储的“题目的答案是”的文字内容以及文字信息“100”进行显示，即最终展示的内容为“题目的答案是100”，匹配成功的触发语句自动调出生成而不需要通过音频和文字转换，降低音频转换单元的转换负担，集中与其他内容的转换，保证音频转换单元的正常工作和维持一定的转换效率。

可选地，本发明实施例的多媒体教学的音频处理方法还包括步骤S500：

S500、确定文字信息的生成时间，根据生成时间的先后顺序对文字信息进行排列并展示。

可选地，由于教师与学生的教学方式一般都一对多，即一名教师对应多个学生，因此所采集的音频信息可能有多个，在展示音频信息转换后的文字对应的问题或者答案时容易出现错乱，答案与问题不对应的情况，因此本发明实施例中需要确定文字信息的生成时间以进行文字信息的排列。具体地，文字信息的生成时间可以指音频转换单元转换得到文字信息的时间或者排版模块接收到文字信息的时间，根据生成时间的先后顺序对文字信息进行排列并展示，例如将最早生成的文字信息排列在展示队列的最前，优先发送至第二展示单元进行展示，从而使得展示的文字信息时能够按照时间排列并对应，例如老师提问后，学生的所有答案都出现在教师的顶部或者底部，能够清晰快速地看出问题对应的回答，便于对比，有利于提高教学效率和质量。

上述系统实施例中的内容均适用于本方法实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述系统实施例所达到的有益效果也相同。

本发明实施例还提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的多媒体教学的音频处理方法。本发明实施例的电子设备包括但不限于手机、平板电脑、电脑及车载电脑等任意智能终端。

上述方法实施例中的内容均适用于本设备实施例中，本设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的多媒体教学的音频处理方法。

本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的多媒体教学的音频处理方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种多媒体教学的音频处理系统，其特征在于，包括：

语音识别模块，包括智能捕捉单元以及音频转换单元；所述智能捕捉单元用于采集对象的音频信息，将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频并传输至所述音频转换单元，所述对象包括老师和/或学生；所述音频转换单元用于将所述目标音频转换成文字信息；

多媒体显示模块，用于将所述文字信息进行显示。

2.根据权利要求1所述多媒体教学的音频处理系统，其特征在于：所述智能捕捉单元包括采集单元以及匹配单元；

所述采集单元用于采集所述音频信息；

所述匹配单元用于将所述音频信息与触发语料库进行匹配；所述触发语料库包括多个触发语句；

当匹配成功，将所述音频信息中匹配成功的触发语句之后的信息确定为所述目标音频；

或者，

当匹配不成功，所述目标音频为空白音频。

3.根据权利要求2所述多媒体教学的音频处理系统，其特征在于：所述多媒体显示模块包括第一展示单元以及第二展示单元；

所述第一展示单元用于展示教学资料，或者根据所述文字信息从所述教学资料中确定目标教学内容并展示；

所述第二展示单元用于展示所述文字信息，或者展示匹配成功的触发语句以及所述文字信息。

4.根据权利要求3所述多媒体教学的音频处理系统，其特征在于：所述多媒体教学的音频处理系统还包括排版模块，所述排版模块包括第一处理单元，所述用于第一处理单元用于接收所述文字信息，并按照所述文字信息的接收时间或者生成时间的先后顺序发送至所述第二展示单元进行展示。

5.根据权利要求1-4任一项所述多媒体教学的音频处理系统，其特征在于：所述多媒体教学的音频处理系统还包括排版模块，所述排版模块包括第二处理单元，所述第二处理单元用于对所述文字信息进行分类确定学生信息以及教师信息，将所述学生信息以及所述教师信息进行对比，确定差异信息，将所述差异信息补充至所述学生信息中并对所述差异信息进行显著标注。

6.一种多媒体教学的音频处理方法，其特征在于，包括：

采集对象的音频信息；所述对象包括老师和/或学生；

将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频，并将所述目标音频转换成文字信息；

将所述文字信息进行显示。

7.根据权利要求6所述多媒体教学的音频处理方法，其特征在于：所述将所述音频信息与触发语料库进行匹配，当匹配成功生成目标音频，包括：

将所述音频信息与触发语料库进行匹配；所述触发语料库包括多个触发语句；

当匹配成功，将所述音频信息中匹配成功的触发语句之后的信息确定为所述目标音频；

或者，

当匹配不成功，所述目标音频为空白音频。

8.根据权利要求7所述多媒体教学的音频处理方法，其特征在于：所述方法还包括：

获取教学资料；

将所述教学资料以及所述文字信息同时展示，或者根据所述文字信息从所述教学资料中确定目标教学内容并展示，或者展示匹配成功的触发语句以及所述文字信息。

9.根据权利要求6所述多媒体教学的音频处理方法，其特征在于：所述方法还包括：

确定所述文字信息的生成时间；

根据所述生成时间的先后顺序对所述文字信息进行排列并展示。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求6-9中任一项所述方法。

Images