CN109324811A - 一种用于更新教学录播数据的装置 - Google Patents

Abstract

本发明提供一种用于更新教学录播数据的装置，包括语音数据更新单元和课件数据更新单元，通过对语音数据识别形成的文本内容和新旧课件数据特别是PPT课件数据的替换操作，实现了在教学过程录制完成之后，对于形成的教学录播数据再进行更新的目的。使用本发明的装置，使得在教学过程录制完成之后，通过更新语音数据解决了教学过程中存在的错说、漏说、表达不标准的语音问题，以及，通过新旧课件的替换操作，可以将新课件展示给学习教学录播数据的用户，从而使得教学过程完成之后，也就是教学录播数据形成之后，依然可以对于教学过程中存在的问题通过更新操作进行补救和完善。

Description

一种用于更新教学录播数据的装置

技术领域

本发明属于网络教学录播技术领域，可以用于基于网络教学或者在线会议等的教学活动或会议过程的录制和播放，特别是涉及一种能够对已完成录制教学录播数据中的语音数据和课件数据进行更新的装置。

背景技术

近些年来，由于传统教学模式已经越来越不能满足用户对于多媒体、信息化、便于回放等新型教学方式的需求，随着互联网技术，特别是移动互联网技术的快速发展和普及，各种网络教学录播系统蓬勃发展。在网络教学中，通过课堂录制将教学过程录制下来，可以在互联网上共享教学资源，用户可以使用终端在线访问这些教学资源，可以满足用户远程学习和回顾的需求。

教学录播方面早期的技术，比如CN101141271A(公开日2008年3月12日)公开了一种网络教学的录播系统，包括：录制器、处理器、第一网络、第二网络，服务器、数据库及三个客户端。其中，录制器主要包括摄像头及无线数字话筒以录制课件的视频信息及语音数据。第一网络于将所述课件信息传送至服务器。服务器一方面用于进一步处理所述课件信息，产生课件数据，另一方面用于在数据库中搜寻并调用所述课件数据，进而将所述课件数据转换回所述课件信息。数据库用于存储所述课件数据。第二网络用于连接客户端与服务器。客户端用于方便用户查询课件信息及调用课件信息。所述专利申请公开了一种比较典型的流媒体格式录制课程的技术，现在看其主要缺点在于录制后形成的文件比较大，上传下载速度慢，需要的存储空间大等。

教学录播方面近期的技术，比如CN105306861A(公开日2016年2月3日)公开了一种有效的课堂教学录播方法和系统，在网络教学或在线会议过程中，可以实现对于用户使用多媒体白板的功能操作、讲话/说话语音、与其他用户的交流和/或辅导等的交流语音进行录制，分别形成不同的数据流，并且由网络教学的录播系统产生统一的时间戳对各种数据流进行标记，而不是完全以流媒体的格式将整个事件记录下来，使得网络用户可随时随地方便的通过网络从云端服务器或局域网服务器下载各种需要播放的数据流，获取数据流后用户终端的客户端根据时间戳再现获得数据流，有机组合播放出来给用户进行展示，从而完成点播浏览。所述专利申请公开了一种根据时间戳以三种数据流格式分别存储和记录课堂教学数据的课堂录播方法。

随着对录制课程品质的追求越来越高，越来越多的教学录播系统采用了语音识别技术，通常需要将语音转换成文字，在屏幕上以字幕方式显示或者保存为文本格式。现有技术中，关于语音识别，特别是将语音转换为文字或者将文字转换为语音的专利申请不在少数，比如：

CN101354748A(公开日2009年1月28日)公开了一种文字识别装置，包括摄像装置、字符识别装置、语音转换装置、及语音输出装置，所述摄像装置，用于摄入文字信息，将摄入的文字信息以图片形式发送到所述字符识别装置；所述字符识别装置，用于在上述图片中识别出上述文字信息，发送到所述语音转换装置；所述语音转换装置，用于将上述文字信息转换为语音数据，发送到所述语音输出装置；所述语音输出装置，用于播放上述语音数据。所述专利申请公开了一种采集和识别图像信息中的文字符号，然后将文字符号转换成语音的技术。

CN102956231A(公开日2013年3月6日)公开了一种语音识别技术领域的基于半自动校正的语音关键信息记录装置及方法，所述装置包括：关键信息提取单元和与之相连的信息校正单元，其中：关键信息提取单元获取未经校正的文本数据并提取出关键信息后输出至信息校正单元，信息校正单元输出用户反馈确认后的文本数据。本发明通过半自动的信息校正单元，降低了人工校正的工作量；利用数据库对特殊名词如地名、专业工具名称进行校正，降低了人工校正中操作员的知识量限制所造成的影响；提取语音数据中的关键信息，从而提高所记录信息的有效信息量。所述专利申请旨在解决语音转换成文本之后，对文本数据进行半自动校正的问题。

CN105159870A(公开日2015年12月16日)公开了一种精确完成连续自然语音文本化的处理系统，所述处理系统包括云端语音识别引擎及语音识别后更新平台，所述语音识别后更新平台与所述云端语音识别引擎连接，所述语音识别后更新平台包括显示单元、更新操作单元、控制单元及三维一体生成单元，所述更新操作单元包括语音更新、键盘更新、鼠标更新及键盘加鼠标的更新操作方式，其中公开了可以对于待识别的语音文件进行精细切分，实现精准识别。

CN105808197A(公开日2016年7月27日)公开了一种信息处理方法，应用于具有语音识别模块的电子设备，所述方法包括：接收输入语音数据；在依据预设的语音识别模型对所述输入语音数据进行识别得到识别结果后，当所述识别结果中的第一信息为需要更新的内容时，所述第一信息为所述识别结果中的至少一个字符，采用通过操作体输入的方式对所述识别结果中的第一信息进行更新，所述用操作体输入的方式对识别结果中的第一信息进行更新，只需对目的更新的部分进行更新，而无需用户再次输入语音数据即可得到目的结果，操作过程简单，提高了信息输入的整体速度。所述专利申请公开了可以只需要通过对语音识别后的第一处需要更新的内容进行更新，从而提高了更新的速度，但是这样的更新只是针对识别后的文本数据，其中在语音识别的过程中，使用了将待识别信息与标准语音数据进行比对，进而提高识别准确率的方式。

CN106328145A(公开日2017年1月11日)公开了一种语音更新方法及装置，包括：获取用户输入的语音数据；对所述语音数据进行识别，以得到所述语音数据对应的文本内容；当所述文本内容中包含第一预设关键词时，根据所述第一预设关键词将所述文本内容划分为原始文本和编辑文本，其中，所述编辑文本用于对所述原始文本进行更新；根据所述编辑文本从所述原始文本中提取出待更新文本；根据所述编辑文本和所述待更新文本更新所述原始文本，以得到更新后的文本。所述专利申请公开了，可以通过关键字识别的方式获得原始文本中需要编辑的文本即编辑文本，针对性更新语音识别形成的文本内容。

CN102215233A(公开日2011年10月12日)公开了一种信息系统客户端，安装于用户的终端设备中，可以应用于微博、博客、论坛或个人空间等，包括：用户交互模块以及连接所述用户交互模块的语音模块，优选的，还包括反馈模块，转换模块，所述语音模块包括语音采集单元、语音识别单元、语音合成单元，语音采集单元用于采集用户的语音；语音识别单元将语音采集单元采集的语音识别为文字输出至所述用户交互模块；语音合成单元将所述用户交互模块从所述信息系统服务器上获取的文字转换为语音向用户输出；所述反馈模块，连接所述语音识别单元，用于确认所述语音识别为文字是否正确，若正确，所述反馈模块将所述文字输出至所述用户交互模块，若不正确，所述反馈模块使所述语音采集单元重新采集用户的语音或者所述语音识别单元更新所述文字直至确认正确。所述专利申请公开了一种可以进行语音和文字分别互相转换的技术，旨在将一种格式的信息转换成另一种格式的信息，所述反馈模块如果输出的文字信息不正确，就重新采集用户语音，或者直接更新所述输出的文字信息。

CN106486113A(2017年3月8日)公开了一种会议记录方法，包括：获取语音信号；由语音转化软件将所述语音信号转化成对应的文字信息，并在文档中予以显示，其中，所述文字信息包括正确文字信息和错误文字信息；对文档中的错误文字信息进行标记，并将标记的所述错误文字信息与对应所述错误文字信息的语音信号进行关联链接；点击所述错误文字信息时，采用所述语音转化软件对与所述错误文字信息关联链接的语音信号进行二次识别，并在文档中对二次识别出来的文字信息进行可编辑显示；通过可编辑显示中对错误文字信息进行更正编辑，以得到更正的文字信息，并用所述更正的文字信息替换所述错误文字信息。

综上可见，在现有技术中，无论是教学录播技术领域，还是语音识别转换领域，都没有涉及对于已经形成的课堂录播数据进行更新的构思，特别是通过对于识别后文本内容的更新来对语音本身进行更新以及使用新课件替换旧课件使得老课程能用上新课件等这样的构思，现有技术关心的是语音识别转换特别是语音转换成文字的准确率的问题。然而，在各种教学或者会议过程中，对于任何说话者来说，都可能存在错说、漏说或者发音不标准，甚至表达不标准的情况，对于这些问题，通常是采用在语音识别时，也就是转换成文字时(比如以字幕呈现)，加上文字标注(比如以括号中解释的方式)的方式进行标识。

特别地，对于教学录播系统，由于讲授的课程要进行录制并且通过网络重现给用户，错说、漏说、表达不标准等问题带来的影响因为语言数据被压缩而变得突出而且影响很大，一方面，因为用户通常难以识别出这些错误，而且即使以字幕方式进行标识，另一方面，因为使用环境的原因，用户可能不方便看字幕，仅能以语音的形式收听，语音表达不清楚，进一步影响了用户学习的效果。

对于课件数据，特别是PPT类，可以以页面分割的课件内容，一旦出现错误，比如文字错误，表达错误，在完成课程录制之后，就无法再进行更正，要么删除，要么通过添加附注说明的方式进行补救，显然这些问题需要通过新途径进行解决。

针对现有技术中存在的问题，本发明旨在提供一种用于更新教学录播数据的装置，通过对语音数据识别形成的文本内容和新旧课件数据特别是PPT课件数据的替换操作，实现了在教学过程录制完成之后，对于形成的教学录播数据再进行更新的目的。

发明内容

本发明旨在提供一种用于更新教学录播数据的装置，所述教学录播数据包括单独保存的语音数据、视频数据、动作数据等数据流，具体的包括使用录音设备将在网络教学或在线会议过程中的语音信号转换成带有时间戳的原始语音数据，以语音数据流+时间戳的格式进行保存，以及使用动作数据录制软件获取的比如课件特别是PPT文件的操作动作数据，以课件操作动作数据流+时间戳的格式进行保存。

根据本发明的装置，使用语音识别模型将所述原始语音数据识别转换成原始文本数据，对所述原始文本数据进行校对，使用新文本内容替换需要更新的旧文本内容，实现对原始文本数据的更新形成更新文本数据，使用时间戳进行定位，将新文本内容的标准语音数据替换旧文本内容的相应语音数据片段，形成更新语音数据。

根据本发明的装置，在旧课件的基础上进行更新形成新课件，建立新旧课件之间的关联关系，包括页面的对应关系和更新内容的对应关系，获取旧课件数据在录播数据中的时间戳信息，根据对应关系和时间戳信息，使用新课件替换旧课件，从而在点播回放录播数据的时候，以录制时形成的旧课件的展示方式将新课件内容展示给用户。

应该理解的是，尽管说明书中主要以网络教学或网络会议的录播的名义描述了本发明的实施例，但是可以理解的是，本发明的装置还可以用于其他网络在线交流过程的录制、播放和更新。也就是说，本发明涉及给予网络教学、在线培训、应急指挥(地图标注和语音录制)、金融系统或者在线会议登系统的教学活动或者会议过程录制及播放的方法、系统以及计算机程序产品，在网络教学、在线培训、应急指挥(地图标注及语音录制)、金融系统(操盘讲解)或者在线会议的过程中，只要涉及语音数据和使用PPT文件的，通过对所述语音数据识别转换后形成的文本数据的更新，将更新的文本内容的标准语音数据替换原始录制的相应语音数据，可以实现对于语音数据的更新，及使用新旧课件的替换操作，实现课件数据的更新。

本发明提供一种用于更新教学录播数据的装置，在对多媒体课堂(或网络课堂)或类似场景的录制和点播回顾过程中，特别是在对多媒体课堂进行录制时，包括将语音数据、多媒体白板上的动作数据(电子白板板书)、用户终端屏幕上的操作动作数据、录像设备录制的视频数据等以数据流格式添加时间戳后分别保存，形成教学录播数据，用户登录网络教学录播系统之后，使用有线或无线局域或广域网络，获得所述教学录播数据，借助时间戳在用户终端上实现重现或模拟重现课堂的授课过程，从而实现对录制课堂的回顾播放或点播播放。

本发明的用于更新教学录播数据的装置，包括：文件标识生成单元、语音数据采集单元、语音数据更新单元、课件数据采集单元、课件数据更新单元、其他数据采集单元、录制数据播放单元和错误信息反馈单元等，其中，

文件标识生成单元，用于在开始录制教学过程时，生成文件标识ID；

语音数据采集单元，用于使用音频采集设备将语音信号转换成原始语音数据，以语音数据流格式保存；优选的，用于从至少一个语音源采集至少一个语音数据，并添加时间戳，以语音数据流格式保存；

语音数据更新单元，用于更新所述原始语音数据需要更新的语音数据，形成更新语音数据，所述语音数据的更新是通过对所述语音数据识别形成的文本内容的替换操作实现的；

课件数据采集单元，用于获取教学过程中，对于课件文件，特别是PPT文件的操作动作数据，形成课件数据；

课件数据更新单元，用于更新教学录播数据中的课件数据，所述课件数据的更新是通过使用新课件替换旧课件实现的；

其他数据采集单元，用于采集以下数据中的至少一种：多媒体白板上的动作数据、用户终端屏幕上的操作数据、录像设备的视频数据，对于采集的每种数据添加所述时间戳，均以数据流格式分别进行保存，与所述语音数据流和所述课件数据共同形成可以点播播放的录制数据；

录制数据播放单元，用户使用终端通过网络获取所述录制数据，根据所述时间戳组合不同数据流，从而在所述终端上播放所述录制数据，重现和/或模拟重现教学过程，实现对教学过程的学习和/或复习；

错误信息反馈单元，用户使用所述终端播放所述录制数据时，可以将发现的所述更新文本数据中的错误文字内容选定并提交反馈，反馈的内容经由管理员确认之后，更新所述更新文本数据，并重复所述语音数据替换单元，更新所述更新语音数据。

所述语音数据更新单元进一步包括，

语音数据识别单元，用于根据语音识别模型将原始语音数据识别转换成原始文本数据，根据时间戳可以确定所述文本数据中的每个文字内容的时间坐标；

文本数据更新单元，用于对所述原始文本数据进行校对，将其中需要更新的旧文字内容，替换更新为准确的新文字内容，形成更新文本数据；

语音数据替换单元，用于使用所述新文字内容的标准语音数据替换在所述原始语音数据中的所述旧文字内容的语音数据片段，形成更新语音数据，实现对所述教学录播数据的语音数据的更新。

所述课件数据更新单元进一步包括，

课件内容更新单元，用于在旧课件的基础上对内容进行更新，使用新内容替换旧内容，形成新课件，并且记录旧课件和新课件之间的对应关系数据，包括更新前后页面之间的关联关系和每个页面更新前后的内容对应关系；

课件数据更新单元，用于获取所述教学录播数据中课件数据的时间戳标识，并根据所述对应关系数据，对新课件进行处理，将所述时间戳标识添加到新课件中，形成新课件数据；

课件替换更新单元，使用所述新课件数据替换在所述教学录播数据中的旧课件数据，实现对所述教学录播数据的课件数据的更新。

所述课件优选为PPT文件，所述标准语音数据是从标准语音数据库中通过搜索获取的，所述语音数据和课件数据是单独进行保存的，优选的，所述语音数据以“语音数据流+时间戳”的格式进行保存，所述课件数据以“课件操作数据流+时间戳”的格式进行保存。

本发明特别优选的是，所述文本数据更新单元进一步用于，在课件数据更新完成之后，根据时间戳标识确定所述PPT文件的每个页面的展示时间，并根据所述每个页面更新前后的内容对应关系，搜索所述展示时间内的文本数据中的旧内容，使用新内容替换旧内容，形成更新文本数据，实现对文本数据的进一步更新，使得更新后的语音数据与更新后的课件数据相适应。由此实现了，课件更新和语音更新的互动和关联，使得当语音数据中涉及的内容一旦已经在使用新的PPT文件进行了更新和替换，根据PPT跟新的内容的替换关系，替换语音数据中的相关内容和语音，实现了语音讲解与PPT展示内容的适应性同步修改，进一步提高了录播数据更新之后的完备性和可实现性。

所述对文本数据的进一步更新，在完成替换之前，将文本数据中的旧内容与新内容的对应关系展示给管理员，由管理员根据上下文确认是否进行替换。

所述更新的文本数据，根据时间戳标识，以字幕方式显示在屏幕上，优选的是，显示在在播放视频数据的屏幕区域，更优选的是，所述文本数据以可编辑的方式如可选定的方式，显示在屏幕的特定区域。

所述装置进一步包括错误信息反馈单元，

所述错误信息反馈单元，用户使用终端播放所述教学录播数据时，可以将发现的所述更新文本数据中的错误文字内容选定并提交反馈，反馈的内容经由管理员确认之后，再次更新所述更新文本数据，并通过所述语音数据替换单元，再次更新所述更新语音数据。

在对文本数据和语音数据进行更新时，形成更新历史记录，所述更新历史记录可以包括更新时间、更新内容、更新操作人、问题发现人等等。

所述语音数据替换单元，用于根据被替换的旧文字内容在所述原始语音数据中的发音时间以及新文字内容的标准语音数据的发音时间，计算出平滑系数，再根据所述平滑系数，调整所述新文字内容的发音时间，由此使得替换前后语音数据的平滑和同步。

通过本发明的方法，提高了课堂录制的水平，基于时间戳分别保存各种数据流的存储方式，通过对语音数据的识别转换以及文本数据的更新，并根据更新的文本内容更新语音数据，更新了原始语音数据中需要更新的内容，克服了课堂上“少说、错说和漏说”等带来的问题，可以获得双更新后的语音数据和文本数据(字幕信息)，通过在旧课件的基础上更新形成新课件，并且在新旧课件之间建立对应关系，结合其在录播数据中的时间戳信息，实现了课件的替换更新。

使用本发明的装置，使得在教学过程录制完成之后，通过更新语音数据解决了教学过程中存在的错说、漏说、表达不标准的语音问题，以及，通过新旧课件的替换操作，可以将新课件展示给学习教学录播数据的用户，从而使得教学过程完成之后，也就是教学录播数据形成之后，依然可以对于教学过程中存在的问题通过更新操作进行补救和完善。

本发明的上述和进一步的目的以及特征，根据结合附图的以下详细说明就会更加清楚和完整。

附图说明

图1是根据本发明的录播系统架构图；

图2是根据本发明的录播数据更新步骤流程图；

图3是根据本发明的课件更新步骤流程图；和

图4是根据本发明的语音更新步骤流程图。

具体实施方式

以下，将结合附图对本发明的具体实施方式进行进一步详细的描述。

本发明中网络教学不局限于学生和教师的课堂教学形式，其可以包括以教师和学生、或培训人为参与主体的在线网络教学、远程网络教学、本地网络教学，和以企事业单位员工等为参与主体的在线网络会议、远程网络会议、本地网络会议，以及其他的利用网络进行在线交流和/或文件内容展示的交流/交互形式，比如远程协同工作。

如图1所示，教师1、学生2分别使用安装有网络教学录播系统客户端的终端设备，通过互联网连接至教学服务器3，所述教学服务器3还连接有多媒体设备4包括智能电子白板、摄像机、麦克风、高拍仪中的至少一种，由此实现多媒体课堂的网络授课/听课/录制/点播/回顾等。

所述终端设备包括：处理器、网络模块、控制模块、显示模块以及智能操作系统，可以智能手机、PAD、笔记本电脑、台式电脑等。所述终端上可以设有通过数据总线连接各种拓展类设备和配件的多种数据接口。所述智能操作系统包括Windows、Android及其改进、iOS，在其上可以安装、运行应用软件，实现在智能操作系统下的各种应用软件、服务和应用程序商店/平台的功能。

终端设备可以通过RJ45/Wi-Fi/蓝牙/2G/3G/4G/G.hn/Zigbee/Z-ware/RFID等连接方式连接到互联网络，并借助互联网连接到其它的终端或其它电脑及设备，通过1394/USB/串行/SATA/SCSI/PCI-E/Thunderbolt/数据卡接口等多种数据接口或者总线方式，通过HDMI/YpbPr/SPDIF/AV/DVI/VGA/TRS/SCART/Displayport等音视频接口等连接方式，来连接各种拓展类设备和配件，组成了一个会议/教学设备互动系统。带有软件形式的声音捕捉控制模块和动作捕捉控制模块，或通过数据总线板载硬件形式的声音捕捉控制模块和动作捕捉控制模块，来实现声控和形控功能；通过音视频接口连接显示/投影模块、麦克风、音响设备和其它音视频设备，来实现显示、投影、声音接入、音视频播放，以及数字或模拟的音视频输入和输出功能；通过数据接口连接摄像头、麦克风、电子白板、RFID读取设备，实现影像接入、声音接入、电子白板的使用控制和录屏，RFID读取功能，并通过相应的接口可接入和管控移动存储设备、数字设备和其它设备；通过DLNA/IGRS技术和互联网络技术，来实现的包括多屏设备之间的操控、互动和甩屏等功能。

本发明中，处理器定义为包括但不限于：指令执行系统，如基于计算机/处理器的系统、专用集成电路(ASIC)、计算设备、或能够从非暂时性存储介质或非暂时性计算机可读存储介质取得或获取逻辑并执行非暂时性存储介质或非暂时性计算机可读存储介质中包含的指令的硬件和/或软件系统。所述处理器还可以包括任意控制器，状态机，微处理器，基于互联网络的实体、服务或特征，或它们的任意其它模拟的、数字的和/或机械的实现方式。

本发明中，互联网可以包括局域网和广域互联网，可以是有线互联网，也可以是无线互联网，或者这些网络的任意组合。

如图2所示，根据本发明的网络教学录播数据主要更新步骤如下：

S100：启动录播系统：用户(比如教师用户)使用终端登录后，各种多媒体设备4如智能电子白板、教师终端屏幕操作动作捕捉程序、摄像机、麦克风等多媒体教学设备进入工作状态，所述摄像机可以不止一个，所述麦克风包括至少一个，分别用于捕捉教师的语音和用于捕捉学生的语音，与数字时间戳一起形成语音数据流格式进行保存；屏幕操作动作捕捉程序可以用于捕捉在教师终端上，对于课件文件特别是PPT文件的操作动作，获取操作PPT文件的页面信息、动作信息和时间戳，由此形成课件操作动作流数据，录播系统的教学服务器可以用于产生数字时间戳。

S200：开始网络教学：教师开始课堂教学，文件标识生成单元生成一个教学文件ID，在教学过程中，比如教师使用智能电子白板进行展示(作为授课板书或者讲解题板)、使用实时语音进行讲解、使用实时交互语音进行交流、在教师终端上使用电子文档比如PPT文档进行展示和说明，从而进行多媒体授课及与学生互动问答交流，通过如S100中介绍的装置分别采集并形成相应的数据流。

S300：录制数据保存：在录制过程中，智能电子白板上的动作以“动作数据流+时间戳”的方式传输和保存，授课及互动过程中的语音，通过语音数据采集单元以“语音数据流+时间戳”的方式传输和保存，教师终端上涉及的电子文档如PPT文档的操作动作，通过课件数据采集单元以“电子文档操作数据流+时间戳”的方式传输和保存，对于其他数据流，可以使用其他数据采集单元进行采集，比如视频数据以“视频数据流+时间戳”的方式传输和保存。整个授课过程中的所有这些数据流与教学文件ID绑定实现对应录制课程的标识。这些数据，可以根据需要进行添加或删减，一种典型的情况是所录制数据包括语音数据、视频数据和PPT文档演示数据。在现有技术中，分类录制分屏展示是比较成熟的技术。录制得到的各种数据可以先保存到本地数据库或者终端数据库，再由这些数据库通过网络上传到远程教学服务器，也可直接保存到远程教学服务器。

在一个示例中，语音数据采集单元对于语音数据的采集，可以使用语音采集设备比如各种可用的麦克风采集语音信号，将语音信号转换成语音数据，以数据流格式保存。对于单一语音源的情况，可以标记出语音源的性别，这样在进行后续语音更新(替换)操作时，可以选择相应性别的标准语音。对于多个语音源的情况，可以分别识别出语音源的性别，这些多个语音源可以可以识别并聚类，形成以语音源为标记的语音文件，添加时间戳后分别进行保存，将多个语音源分别识别出来的方法可以使用现有技术，在此不再赘述。

在一个示例中，电子文档优选为PPT文档，可选的是，任何其他可以作为课件的，可以以页面格式进行分割的电子文档，比如WORD文档，所述电子文档操作数据流+时间戳，可以具体为PPT文件的页面信息+动作信息+时间戳信息。

S400：语音数据识别：对于录制的原始语音数据，首先通过语音数据识别单元，采用语音模型进行识别转换形成原始文本数据，再通过文本数据更新单元对所述原始文本数据进行校对更新。在形成原始文本数据时，将原始语音数据的时间戳添加到文本数据中，使得可以对文本数据中的文字内容进行时间定位。所述文字内容可以是文本数据中的至少一个字、词、句或段。通过所述时间定位获取可以标记音频数据的时间维度的时钟数据，也就是可以相对定位一个音频数据中某个数据片段的时间点的时钟参数。

在进行识别转换时，可以使用各种可用的语音模型将原始语音数据识别转换为原始文本数据，在进行语音数据识别转换时，首先识别语音源的性别，并且将性别信息添加到所述文本数据中。对于文本数据的校对更新包括人工校对、半自动校对、语音校对等。

S500：语音数据更新：通过语音数据替换单元，使用语音更新指令即使用语音校对方式(CN106406807A)对原始文本数据进行替换，但是本发明不限于此。语音数据替换操作包括，接受语音更新指令，在待更新的文本数据中识别与所述语音更新指令读音相同的所有文字以及这些文字内容的时间戳，确定识别出的所有文字中的待更新文字，显示所述待更新文字对应的备选文字列表，接受备选文字选定指令，进行替换操作，形成更新文本数据，从而完成文本更新，完成文本更新之后，根据文本更新的对应关系信息，再进行下面的语音数据片段替换操作。

在完成上述文本更新的过程中，从标准语音数据库中调取更新文字的标准发音信息，根据被更新的文字的时间戳，用标准发音信息替换在原语音数据中对应的语音数据片段，更新语音数据，形成新的语音数据。所述标准语音数据是从标准语音数据库中通过搜索获取的。所述标准语音数据库可以包括女生标准语音数据库、男生标准语音数据库和/或个性化标准语音数据库。所述个性化标准语音数据库是，通过对于特定发音人录制形成的标准语音数据库，或者通过语料训练，形成的特定发音人的语音模型，可以用于语音识别，还可以用于生成个性化标准语音数据库。

在从标准语音数据中调取标准发音信息时，根据所述原始文本数据的语音源性别信息，或者其他个性化信息，选择相应的标准语音。作为一种选择，所述旧文字内容可以为空内容，也就是，替换所述空内容的新文字内容是遗漏的，现在需要添加的文字内容。所述新文字内容可以为空内容，也就是，被替换的所述旧文字内容是多余的，现在需要删除的文字内容。

在S300：录制数据保存步骤之后，开始步骤S400的时候，可以与步骤S500保持一致，步骤顺序可以根据需要进行调整，并不做具体的限定，但是优选的是，在S400完成之后，先进行S401：课件数据更新步骤。

S401：课件数据更新步骤：用于通过课件数据更新单元，采用新旧课件的替换操作的方式，更新教学录播数据中的课件数据。

如图3所示，所述课件数据更新单元对于所述课件数据的更新步骤，进一步包括以下步骤。

S4011课件内容更新步骤，通过课件内容更新单元，在旧课件的基础上对内容进行更新，使用新内容替换旧内容，形成新课件，并且记录旧课件和新课件之间的对应关系数据，包括更新前后页面之间的关联关系和每个页面更新前后的内容对应关系。本步骤，可以根据需要在适当的时间执行，但是完成课件内容更新操作之后才能进行课件数据的更新操作。

S4012课件数据更新步骤，通过课件数据更新单元，获取所述教学录播数据中课件数据的时间戳标识，并根据所述对应关系数据，对新课件进行处理，将所述时间戳标识添加到新课件中，形成新课件数据。

S4013课件替换操作步骤，通过课件替换更新单元，使用所述新课件数据替换在所述教学录播数据中的旧课件数据，实现对所述教学录播数据的课件数据的更新。

作为一个优选的示例，在完成课件数据的更新操作之后，对于步骤S400：语音数据识别形成的文本数据，通过所述文本数据更新单元，可以进一步用于，在课件数据更新完成之后，根据时间戳标识确定所述PPT文件的每个页面的展示时间，从而可以进行定位，并根据所述每个页面更新前后的内容对应关系，搜索所述展示时间内的所述语音识别形成的文本数据中的旧内容，使用新内容替换旧内容，形成更新文本数据，实现对所述语音识别形成的文本数据的进一步更新，在完成文本数据的更新之后，按照步骤S500的语音替换方式，从标准语音库中使用标准语音数据片段替换原语音数据中的相应语音片段，形成进一步更新的语音数据。通过这种方式，使得在语音数据中涉及PPT文件的讲解内容，得以根据PPT文件的修改进行同步更新，从而使得更新后的语音数据与更新后的课件数据相适应，进一步实现录播数据的完整更新。

作为一个示例，对语音识别形成的所述文本数据的进一步更新，在完成文本内容的替换之前，将文本数据中的旧内容与新内容的对应关系展示给管理员，由管理员根据上下文确认是否进行替换。

也就是说，在完成课件数据的更新之后，根据课件数据更新的对应关系数据，以及时间戳信息，比如获取某个被更新的PPT页面展示的起止时间段，并且在这个起止时间段之内，搜索经过语音转换形成的文本数据中，是否存在与新旧课件之间相同的替换内容，比如新课件的所述页面中的文字“麻酱”(可能是描述不准的原因)修改为“辣酱”，而讲解的时候，提及的页面的内容中也有“麻酱”，也就是说，这个“麻酱”是不准确的，应该使用“辣酱”进行替换，但是由于语义复杂的原因，本发明优选的，系统找出这类的问题，生成提示或报表发送给管理员，由管理员确认是否进行替换操作。

如图4所示，在一个示例中，语音更新的具体步骤如下：

S110：接收指令

当识别的文本数据发现问题时，如需要更新的文字为“胡建”，接收语音更新指令，如用户可以通过此单元发出“选中胡建”的语音指令，发起更新问题文字“胡建”的指令。

S120：查找文字

在原始文本数据中识别与所述语音更新指令指定读音相同的所有文字。

S130：确定文字

确定识别出的文本数据中的所有待更新文字。

其中，当在文本数据中出现多个与语音更新指令指定读音相同的文字时，用户可以通过进一步的语音指令明确哪个文字需要更新。例如，在待更新文本数据中从前往后识别出读音为“hujian”的文字依次有：“胡建”、“互见”、“护肩”...等，用户当前想要将识别出的第一个文字进行更新，则可发出“第一个”的语音来将识别出的第一个文字确定为当前待更新的文字。

S140：备选列表

显示所述待更新的文字对应的备选文字列表；所述备选文字与所述待更新的文字同音。

其中，当选定了待更新的文字后，在所述文字的附近显示同音的备选文字列表，便于用户后续选择备选文字。例如：若将文本数据中的第一个发音为“hujian”的文字“胡建”确定为待更新文字，则此步骤中在文本数据中的第一个发音为“hujian”的文字“胡建”附近显示备选文字列表：1、福建；2、附件；3、护肩；4、互见，...

S150：选定指令

接收备选文字选定指令。

其中，用户可以通过语音说出备选文字在备选文字列表中的位置，完成备选文字选中的工作。比如使用福建替换胡建。

S160：更新文字

将所述待更新文字更新为所述备选文字选定指令所指定的备选文字。在进行更新替换的过程中，将待更新文字的时间位置信息，以时间戳进行标记，从而准确定位被更新文字所对应的语音数据的时间位置信息。优选的是，在更新文本数据和语音数据流的过程中，形成更新历史记录，所述更新历史记录包括更新时间、更新内容、更新操作人等等。

S170：语音片段

从标准语音库中，根据备选文字搜索其标准语音数据，如果多字词或句子，就组合形成一段新的语音数据片段。优选的是，文本数据中包含有语音源的性别信息，在进行所述搜索时，就可以根据性别信息获得女生发音或男生发音，或者各种高音、低音等不同的语音数据。

S180：语音替换

根据之前所述的时间位置信息，将所述新的语音数据片段替换原始语音数据中的相应语音数据片段，形成新的语音数据。优选的是，由于标准语音的发音时间和被替换的语音的发音时间，即使文字内容完全相同，发音时间也不一定相同，为了平滑的无缝替换，可以先根据两个语音片段的发音时间计算出平滑系数，根据所述平滑系数，加快或减慢所述标准发音时间，使得替换后和替换前同样文字内容的发音持续时间保持一致。

用户使用终端通过互联网登录录播系统，可以实现对录制课堂的回顾播放或点播播放。当然，对于某些用户比如网络在线会议用户，这些录制课堂可以是网络在线会议的过程记录文件，录播系统会把用户请求回顾或点播的教学文件ID通过Socket加密信道发送给教学服务器，通过教学文件ID获取此课程的带有时间戳的动作数据流、语音数据流、电子文档如PPT文件操作数据流、视频数据流以及文本数据等发送给请求相应教学文件ID的用户终端，用户终端在本地根据时间戳还原(重现或者模拟重现)整个课堂教学过程。这些数据流可以在用户终端的各个功能区分别进行显示或者切换式显示。对于视频一般可以在用户终端上进行重现，但是对于电子白板的操作，通过电子白板的模拟程序，可以实现模拟重现。对于PPT文件的操作，可以在本地终端上进行重现展示。

当然，用户可以选择只播放这些数据流的至少一种，比如可以只听语音。对于文本数据，可以以字幕的方式显示在用户终端的特定区域，比如视频展示区内。

在一个示例中，用于进行字幕展示的文本数据(语音识别形成的)可以显示在特定的可编辑区域，使得用户可以进行选定操作等，这样对于发现的不标准的语音数据或者文字信息，只需要选定相应的文字信息即可进行反馈。录播系统的管理员在接到用户的反馈之后，进行核实，如果发现确实存在错误，就重复前面的文本数据和语音数据的更新步骤，使得文本数据和语音数据能够得到不断的完善和改进。

在上述实施例中，终端和服务器是可以由与包含互联网在内的通信网络进行连接的构成，所以也可以是以经由通信网络下载程序代码的方式流动地承载程序代码的媒体。在这样从通信网络下载程序代码的情况下，也可以是所述下载用的程序预先保存在主体装置中或者从别的记录媒体进行安装的构成。

此外，本发明可以通过上述程序代码以电子传输所体现的、被嵌入于载波中的计算机数据信号的形态而得以实现。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的更新、替换、改进，均应包含在本发明所附的权利要求概况的保护范围之内。

Claims (10)

1.一种用于更新教学录播数据的装置，包括语音数据更新单元和课件数据更新单元，其特征在于，

所述语音数据更新单元，用于更新教学录播数据中的语音数据，

所述课件数据更新单元，用于更新教学录播数据中的课件数据，

所述语音数据的更新是通过对所述语音数据识别形成的文本内容的替换操作实现的，

所述课件数据的更新是通过使用新课件替换旧课件实现的。

2.根据权利要求1的装置，其特征在于，

所述语音数据更新单元进一步包括，

语音数据识别单元，用于根据语音识别模型将原始语音数据识别转换成原始文本数据；

文本数据更新单元，用于对所述原始文本数据进行校对，将其中需要更新的旧文字内容，替换更新为准确的新文字内容，形成更新文本数据；

语音数据替换单元，用于使用所述新文字内容的标准语音数据替换在所述原始语音数据中的所述旧文字内容的语音数据片段，形成更新语音数据，实现对所述教学录播数据的语音数据的更新。

3.根据权利要求2的装置，其特征在于，

所述课件数据更新单元进一步包括，

课件内容更新单元，用于在旧课件的基础上对内容进行更新，使用新内容替换旧内容，形成新课件，并且记录旧课件和新课件之间的对应关系数据，包括更新前后页面之间的关联关系和每个页面更新前后的内容对应关系；

课件数据更新单元，用于获取所述教学录播数据中课件数据的时间戳标识，并根据所述对应关系数据，对新课件进行处理，将所述时间戳标识添加到新课件中，形成新课件数据；

课件替换更新单元，使用所述新课件数据替换在所述教学录播数据中的旧课件数据，实现对所述教学录播数据的课件数据的更新。

4.根据权利要求3的装置，其特征在于，

所述课件优选为PPT文件，所述标准语音数据是从标准语音数据库中通过搜索获取的，所述语音数据和课件数据是单独进行保存的，优选的，所述语音数据以“语音数据流+时间戳”的格式进行保存，所述课件数据以“课件操作数据流+时间戳”的格式进行保存。

5.根据权利要求4的装置，其特征在于，

所述文本数据更新单元进一步用于，在课件数据更新完成之后，根据时间戳标识确定所述PPT文件的每个页面的展示时间，并根据所述每个页面更新前后的内容对应关系，搜索所述展示时间内的文本数据中的旧内容，使用新内容替换旧内容，形成更新文本数据，实现对文本数据的进一步更新，使得更新后的语音数据与更新后的课件数据相适应。

6.根据权利要求5的装置，其特征在于，

所述对文本数据的进一步更新，在完成替换之前，将文本数据中的旧内容与新内容的对应关系展示给管理员，由管理员根据上下文确认是否进行替换。

7.根据权利要求6的装置，其特征在于，

所述更新文本数据，根据时间戳标识，以字幕方式显示在屏幕上，优选的是，显示在在播放视频数据的屏幕区域，更优选的是，所述文本数据以可编辑的方式如可选定的方式，显示在屏幕的特定区域。

8.根据权利要求7的装置，其特征在于，

所述装置进一步包括错误信息反馈单元，

所述错误信息反馈单元，用户使用终端播放所述教学录播数据时，可以将发现的所述更新文本数据中的错误文字内容选定并提交反馈，反馈的内容经由管理员确认之后，再次更新所述更新文本数据，并通过所述语音数据替换单元，再次更新所述更新语音数据。

9.根据权利要求8的装置，其特征在于，

在对文本数据和语音数据进行更新时，形成更新历史记录，所述更新历史记录可以包括更新时间、更新内容、更新操作人、问题发现人等等。

10.根据权利要求4的装置，其特征在于，

所述语音数据替换单元，用于根据被替换的旧文字内容在所述原始语音数据中的发音时间以及新文字内容的标准语音数据的发音时间，计算出平滑系数，再根据所述平滑系数，调整所述新文字内容的发音时间，由此使得替换前后语音数据的平滑和同步。