CN114842690A - 语言课程的发音互动方法、系统、电子设备和存储介质 - Google Patents

Abstract

本发明涉及在线教育技术领域，提供一种语言课程的发音互动方法、系统、电子设备和存储介质。发音互动方法包括：响应于第一用户账号的第一操作指令，录制第一发音视频，第一发音视频包含第一用户的嘴部画面和发音内容；响应于第二用户账号的第二操作指令，在第二用户账号的课程界面同步播放第一发音视频和实时录制的第二发音视频，第二发音视频包含第二用户的嘴部画面和发音内容；根据第一发音视频和第二发音视频，生成发音校准信息推送至第二用户账号的课程界面。本发明通过同步播放第一发音视频和实时录制的第二发音视频，实现与各第二用户的精准互动，通过推送发音校准信息，实现对各第二用户的发音校准，提升语言课程的互动体验和教学效率。

Description

语言课程的发音互动方法、系统、电子设备和存储介质

技术领域

本发明涉及在线教育技术领域，具体地说，涉及一种语言课程的发音互动方法、系统、电子设备和存储介质。

背景技术

随着互联网的发展，在线教育逐渐兴起。在线教育不受地域和师资的限制，上课方式灵活，为学生和老师都提供了极大的便利。

但是，在线教育在上课过程中往往缺乏有效互动，教学效率并不理想。尤其是线上语言类课程，在发音学习过程中因没有与老师的有效互动，学生很难有效掌握发音技巧。

具体来说，现有的线上语言类课程在上课过程中主要有两种互动方式，第一种是由老师点名发言，此种场景下只有点到的学生能与老师进行对话互动，整堂课下来被点到的学生非常有限；第二种是多人同时发言，此种场景下环境嘈杂，每个学生能获得的与老师的有效互动极少。

可见，现有的在线教育场景中学生都缺乏与老师互动的机会，不利于语言课程的发音学习，影响上课体验和教学效率。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种语言课程的发音互动方法、系统、电子设备和存储介质，能够提升语言课程的互动体验和教学效率。

本发明的一个方面提供一种语言课程的发音互动方法，包括步骤：响应于第一用户账号的第一操作指令，录制第一发音视频，所述第一发音视频包含第一用户的嘴部画面和发音内容；响应于第二用户账号的第二操作指令，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频，所述第二发音视频包含第二用户的嘴部画面和发音内容；以及，根据所述第一发音视频和所述第二发音视频，生成发音校准信息推送至所述第二用户账号的课程界面。

在一些实施例中，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频的步骤包括：获得所述第一发音视频的按发音内容的音节时序排列的多个第一发音片段，每个所述第一发音片段包含一音节的嘴部画面和发音内容；根据实时录制的所述第二用户的当前发音内容，将与所述当前发音内容的音节对应的第一发音片段的嘴部画面、以及实时录制的所述第二用户的当前嘴部画面同步显示于所述第二用户账号的课程界面。

在一些实施例中，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频的步骤还包括：根据所述当前发音内容的音量，同步播放与所述当前发音内容的音节对应的第一发音片段的经弱化处理的发音内容。

在一些实施例中，生成发音校准信息推送至所述第二用户账号的课程界面的步骤包括：获得所述第二发音视频的对应各所述第一发音片段的多个第二发音片段；比对每个所述第二发音片段的发音内容和对应的第一发音片段的发音内容，获得每个所述第二发音片段的发音准确度；获得发音准确度低于预设值的第二发音片段，作为待校准发音；以及，比对所述待校准发音的嘴部画面与对应的第一发音片段的嘴部画面，根据对应的第一发音片段的嘴部画面中的嘴部动作，获得所述待校准发音的嘴部画面中的嘴部动作的校准提示信息，推送至所述第二用户账号的课程界面。

在一些实施例中，比对所述待校准发音的嘴部画面与对应的第一发音片段的嘴部画面的步骤中，通过图像匹配对所述待校准发音的嘴部画面中的嘴部动作和对应的第一发音片段的嘴部画面中的嘴部动作进行嘴型比对和舌位比对；以及，所述校准提示信息包括使所述待校准发音的嘴部画面中的嘴型和舌位匹配对应的第一发音片段的嘴部画面中的嘴型和舌位的校准提示画面和校准提示语音。

在一些实施例中，获得所述第二发音视频的对应各所述第一发音片段的多个第二发音片段的步骤包括：按所述第二发音视频的发音内容的音节时序分割所述第二发音视频，获得连续的多个时序片段；根据各所述第一发音片段的发音内容，依次获得与每个所述第一发音片段匹配的时序片段，形成对应每个所述第一发音片段的第二发音片段；其中，与一所述第一发音片段匹配的时序片段包括空片段、一时序片段和两个以上时序片段拼接成的片段中的任一种。

在一些实施例中，生成发音校准信息推送至所述第二用户账号的课程界面的步骤还包括：将各所述第二发音片段的发音准确度和所述第一发音视频及其各所述第一发音片段推送至所述第二用户账号的课程界面。

在一些实施例中，所述发音互动方法还包括步骤：获得多个所述第二用户账号共有的待校准发音，推送至所述第一用户账号的课程界面。

在一些实施例中，录制第一发音视频的步骤之后，还包括步骤：按所述第一发音视频的发音内容的音节时序分割所述第一发音视频，获得连续的多个第一发音片段；以及，将所述第一发音视频及其各所述第一发音片段缓存至所述第二用户账号的课程后台。

本发明的另一个方面提供一种语言课程的发音互动系统，包括：第一响应模块，配置为响应于第一用户账号的第一操作指令，录制第一发音视频，所述第一发音视频包含第一用户的嘴部画面和发音内容；第二响应模块，配置为响应于第二用户账号的第二操作指令，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频，所述第二发音视频包含第二用户的嘴部画面和发音内容；以及校准推送模块，配置为根据所述第一发音视频和所述第二发音视频，生成发音校准信息推送至所述第二用户账号的课程界面。

本发明的再一个方面提供一种电子设备，包括：一处理器；一存储器，所述存储器中存储有所述处理器的可执行指令；其中，所述处理器被配置为经由执行所述可执行指令来执行上述任意实施例所述的语言课程的发音互动方法的步骤。

本发明的又一个方面提供一种计算机可读的存储介质，用于存储程序，所述程序被执行时实现上述任意实施例所述的语言课程的发音互动方法的步骤。

本发明与现有技术相比的有益效果至少包括：

通过在第二用户账号的课程界面同步播放第一用户的第一发音视频和实时录制的第二用户的第二发音视频，实现每个第二用户与第一用户之间的精准、有效互动，提升语言课程的互动体验；

通过向第二用户账号的课程界面推送发音校准信息，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明实施例中语言课程的发音互动方法的步骤示意图；

图2示出本发明实施例中同步播放第一发音视频和第二发音视频的界面示意图；

图3示出本发明实施例中第二用户账号的课程界面同步显示第一发音片段的嘴部动作和第二用户的当前嘴部动作的示意图；

图4示出本发明实施例中生成发音校准信息的步骤示意图；

图5示出本发明实施例中根据第一发音片段获得第二发音片段的示意图；

图6示出本发明实施例中在第二用户的课程界面推送发音校准信息的示意图；

图7示出本发明实施例中语言课程的发音互动系统的模块示意图；

图8示出本发明实施例中电子设备的结构示意图；以及

图9示出本发明实施例中计算机可读的存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下述方法实施例中的步骤序号仅用于表示不同的执行内容，并不限定步骤之间的逻辑关系和执行顺序。

图1示出实施例中语言课程的发音互动方法的主要步骤，参照图1所示，本实施例中语言课程的发音互动方法主要包括：在步骤S110中，响应于第一用户账号的第一操作指令，录制第一发音视频，第一发音视频包含第一用户的嘴部画面和发音内容；在步骤S120中，响应于第二用户账号的第二操作指令，在第二用户账号的课程界面同步播放第一发音视频和实时录制的第二发音视频，第二发音视频包含第二用户的嘴部画面和发音内容；以及在步骤S130中，根据第一发音视频和第二发音视频，生成发音校准信息推送至第二用户账号的课程界面。

步骤S110中，第一用户账号对应于老师的用户账号，第一操作指令由第一用户账号的课程界面发出。例如，第一用户账号的课程界面设有如“发音示范”等第一操作按钮，第一操作按钮被点击时发出第一操作指令。或者，在其他实施例中，可以通过语音识别的方式，当第一用户发出“开始发音”等预设语音，则自动识别生成第一操作指令。响应于第一操作指令，通过第一用户账号的课程界面的摄像装置录制第一发音视频。

步骤S120中，第二用户账号对应于学生的用户账号，第二用户账号可以包括一个或多个。也即，本实施例的语言课程的发音互动方法可以适用于一对一或一对多的在线语言课程教学。第二操作指令由第二用户账号的课程界面发出。例如，第二用户账号的课程界面设有如“发音练习”等第二操作按钮，第二操作按钮被点击时发出第二操作指令。或者，在其他实施例中，可以通过语音识别的方式，当第二用户发出“开始练习”等预设语音，则自动识别生成第二操作指令。响应于第二操作指令，在第二用户账号的课程界面同步播放录制好的第一发音视频和实时录制的第二发音视频，使每个第二用户在其课程界面，即能实现与第一用户之间的精准、有效互动，提升语言课程的互动体验。

图2示出实施例中在第二用户账号的课程界面同步播放第一发音视频和第二发音视频的场景，参照图2所示，第一发音视频210和第二发音视频220以分屏显示的方式，同步播放于第二用户账号的课程界面200。从而，第二用户在其课程界面200，即能实时地观看到自身的第二发音视频220和第一用户的第一发音视频210，第二用户可以根据第一发音视频210的嘴部画面中的嘴部动作和发音内容，实时地纠正自身的嘴部动作和发音内容，从而快速掌握正确发音，提升上课效率。

进一步地，第二用户可根据自身需求，调整第一发音视频210和第二发音视频220在其课程界面200的分屏显示方式，例如通过切换按钮230，将图2所示的横版分屏显示切换为竖版分屏显示，或者通过拖动第一发音视频210/第二发音视频220改变其显示位置，以调整至最佳的播放模式。

步骤S130中，根据第一发音视频和第二发音视频，生成基于第一发音视频校准第二发音视频的发音校准信息，也即使第二发音视频匹配第一发音视频的发音校准信息，推送至第二用户账号的课程界面，使第二用户掌握其与第一用户之间的发音偏差的校准方式，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。

在一个实施例中，录制第一发音视频的步骤之后，还包括：按第一发音视频的发音内容的音节时序分割第一发音视频，获得连续的多个第一发音片段，使每个第一发音片段包含一音节的嘴部画面和发音内容；以及，将第一发音视频及其各第一发音片段缓存至第二用户账号的课程后台。其中，按音节时序分割第一发音视频是指，按照第一发音视频的帧时序，以音节为单位分割第一发音视频，形成对应第一发音视频中每个音节的多个第一发音片段。分割形成多个第一发音片段后，将第一发音视频及其各第一发音片段缓存至第二用户账号的课程后台，以供后续与实时录制的第二发音视频同步播放、作为参考比对校准第二发音视频、以及供第二用户选择播放等操作。

举例来说，在一个英语发音课程中，响应于第一操作指令，录制到单词“three”的第一发音视频。接着，按音节时序分割第一发音视频，获得分别对应音节“th”和对应音节“ree”的两个第一发音片段。对应音节“th”的第一发音片段中，包含音节“th”的发音内容和嘴部画面；对应音节“ree”的第一发音片段中，包含音节“ree”的发音内容和嘴部画面。然后，将单词“three”的第一发音视频、以及分别对应音节“th”和对应音节“ree”的两个第一发音片段缓存至第二用户账号的课程后台，以供后续调用。

在一个实施例中，在第二用户账号的课程界面同步播放第一发音视频和实时录制的第二发音视频的步骤具体包括：获得第一发音视频的按其发音内容的音节时序排列的多个第一发音片段，每个第一发音片段包含一音节的发音内容和嘴部画面；根据实时录制的第二用户的当前发音内容，将与当前发音内容的音节对应的第一发音片段的嘴部画面、以及实时录制的第二用户的当前嘴部画面同步显示于第二用户账号的课程界面。

其中，第一发音片段即通过上述实施例的方式获取。在第二用户练习发音时，以音节为单位，将第二用户的当前发音音节的嘴部画面和对应的第一发音片段的嘴部画面同步显示于第二用户账号的课程界面。通常情况下，获得与当前发音内容的音节对应的第一发音片段的方式是，按照多个第一发音片段的时序，依次获取与第二用户的每次发音音节对应的第一发音片段即可。举例来说，第一发音视频分割后获得对应三个音节的第一发音片段，按时序记为第一发音片段S1、第一发音片段S2和第一发音片段S3。响应于第二操作指令，当接收到第二用户的第一个发音音节，在第二用户账号的课程界面同步显示对应该第一个发音音节的当前嘴部画面和第一发音片段S1的嘴部画面；当接收到第二用户的第二个发音音节，则在第二用户账号的课程界面同步显示对应该第二个发音音节的当前嘴部画面和第一发音片段S2的嘴部画面；同理，当接收到第二用户的第三个发音音节，则在第二用户账号的课程界面同步显示对应该第三个发音音节的当前嘴部画面和第一发音片段S3的嘴部画面。

在一个实施例中，也可对第二用户的当前发音内容的音节和第一发音片段的音节进行语音识别匹配后，获得与当前发音内容的音节对应的第一发音片段。语音识别匹配采用已有的语音识别算法，此处不再展开说明。

图3示出实施例中第二用户账号的课程界面同步显示第一发音片段的嘴部画面和第二用户的当前嘴部画面的示意。参照图3所示，本实施例以发音练习“three”为例。第二用户账号的课程后台中预存有单词“three”的第一发音视频以及对应音节“th”和对应音节“ree”的两个第一发音片段。根据实时录制的第二用户的当前发音内容，识别出当前发音音节是本次发音练习的第一个音节，或者识别出当前发音音节是与“th”具有一定相似度的音节，则获得对应音节“th”的第一发音片段。在具体显示时，将对应音节“th”的第一发音片段的嘴部画面作为音节“th”的参考动作310，连同实时录制的第二用户的当前嘴部画面320，以分屏显示的方式同步显示于第二用户账号的课程界面200。从而，第二用户根据其课程界面200显示的音节“th”的参考动作310，可以实时地纠正其当前嘴部画面320中所展示的嘴部动作，获得极强的互动体验，实现胜于面对面教学效果的发音练习。

进一步地，本实施例中，当根据实时录制的第二用户的当前发音内容识别出当前发音音节是本次发音练习的第二个音节，或者识别出当前发音音节是与“ree”具有一定相似度的音节，则获得对应音节“ree”的第一发音片段，并将对应音节“ree”的第一发音片段的嘴部画面连同实时录制的当前嘴部画面同步显示于第二用户账号的课程界面200，供第二用户根据其课程界面200显示的实时互动画面，实现其当前发音音节的准确发音。

进一步地，在一个实施例中，在第二用户账号的课程界面同步播放第一发音视频和实时录制的第二发音视频的步骤还包括：根据当前发音内容的音量，同步播放与当前发音内容的音节对应的第一发音片段的经弱化处理的发音内容。第一发音片段的发音内容的弱化处理程度，可根据第二用户的当前发音内容的音量确定，使对应的第一发音片段的发音内容的音量小于第二用户的当前发音内容的音量。在其他实施例中，还可以考虑第二用户的当前场景的背景音量，使对应的第一发音片段的弱化处理后的发音内容能被第二用户听到，且不影响第二用户听到其自身的当前发音内容。通过基于第二用户的当前发音内容，同步播放对应的第一发音片段的嘴部画面和发音内容，使第二用户通过其课程界面实现与第一用户之间的嘴部画面和发音内容的双重互动，极大增强互动体验，提升发音练习效果，且每个第二用户均能通过其课程界面实现针对性的、精准的发音互动，从而提升教学效率。

图4示出实施例中生成发音校准信息的主要步骤，参照图4所示，本实施例中生成发音校准信息推送至第二用户账号的课程界面的过程主要包括：在步骤S1302中，获得第二发音视频的对应各第一发音片段的多个第二发音片段；在步骤S1304中，比对每个第二发音片段的发音内容和对应的第一发音片段的发音内容，获得每个第二发音片段的发音准确度；在步骤S1306中，获得发音准确度低于预设值的第二发音片段，作为待校准发音；以及在步骤S1308中，比对待校准发音的嘴部画面与对应的第一发音片段的嘴部画面，根据对应的第一发音片段的嘴部画面中的嘴部动作，获得待校准发音的嘴部画面中的嘴部动作的校准提示信息，推送至第二用户账号的课程界面。

步骤S1302中，第一发音片段已预存于第二用户账号的课程后台，根据第一发音片段获得第二发音片段的过程具体包括：按第二发音视频的发音内容的音节时序分割第二发音视频，获得连续的多个时序片段；根据各第一发音片段的发音内容，依次获得与每个第一发音片段匹配的时序片段，形成对应每个第一发音片段的第二发音片段；其中，与一第一发音片段匹配的时序片段包括空片段、一时序片段和两个以上时序片段拼接成的片段中的任一种。

具体来说，按音节时序分割第二发音视频是指，按照第二发音视频的帧时序，以音节为单位分割第二发音视频，形成对应第二发音视频中每个音节的多个时序片段。接着，对第二发音视频的时序片段与第一发音视频的第一发音片段进行配对，使每个第一发音片段均匹配到合适的时序片段，以便后续识别判断第二用户的每个音节的发音准确度。第一发音片段和时序片段均是按照音节时序分割形成，因此在配对时将各时序片段依次与各第一发音片段配对。考虑到第二用户在练习发音时，可能存在漏发音节、多发音节等情况，导致时序片段与第一发音片段无法一一对应，因此在配对时，还需考虑第一发音片段的发音内容，使得漏发音节的情况下采用一空片段与对应的第一发音片段配对，多发音节的情况下采用两个以上时序片段拼接成的片段与对应的第一发音片段配对。

图5示出实施例中根据第一发音片段获得第二发音片段的示意，本实施例以单词发音“strawberry”为例。第一发音视频501经分割后形成三个第一发音片段，分别是对应音节“straw”的第一发音片段511、对应音节“ber”的第一发音片段512和对应音节“ry”的第一发音片段513。在场景(a)中，第二发音视频502经分割后形成三个时序片段，分别是对应音节“straw”的时序片段521、对应音节“ber”的时序片段522和对应音节“ry”的时序片段523，则按照音节时序依次将三个时序片段与三个第一发音片段配对即可。在场景(b)中，第二用户在发音时漏发了音节“ber”，则第二发音视频502经分割处理后形成对应音节“straw”的时序片段521和对应音节“ry”的时序片段523。则根据三个第一发音片段的发音内容，依次获得与每个第一发音片段匹配的时序片段时，对应音节“straw”的第一发音片段511配对到对应音节“straw”的时序片段521、对应音节“ry”的第一发音片段513配对到对应音节“ry”的时序片段523，而对应音节“ber”的第一发音片段512没有匹配的时序片段，则生成一个空片段522’与对应音节“ber”的第一发音片段512配对。在场景(c)中，第二用户发音时在音节“ber”后多发了一个音节“re”，则第二发音视频502经分割处理后形成四个时序片段，分别是对应音节“straw”的时序片段521、对应音节“ber”的时序片段522、对应音节“re”的时序片段5220和对应音节“ry”的时序片段523。此时，多出的对应音节“re”的时序片段5220将与其相邻的前一个时序片段，即对应音节“ber”的时序片段522合并成一个拼接的片段522”与对应音节“ber”的第一发音片段512配对。

需要注意的是，本实施例所说的时序片段对应的音节，是经语音识别后与参考音节具有一定相似度即可。例如，本实施例是单词“strawberry”的发音场景，则对第一发音视频501进行分割处理后，后台会自动预存三个参考音节，也即三个第一发音片段对应的音节，作为后续配对时序片段的参考。

步骤S1304中，通过语音识别技术，以对应的第一发音片段的发音内容为参照，获得每个第二发音片段的发音内容的发音准确程度。语音识别技术是已有的技术，因此不再展开说明。

步骤S1306中，筛选出发音准确度低于预设值的第二发音片段，作为待校准发音。预设值可以由系统统一设定，或者由每个第二用户根据自身需求进行设定。

步骤S1308中，生成待校准发音的校准提示信息，推送至第二用户账号的课程界面，供第二用户根据校准提示信息校准自身发音。在比对嘴部画面时，通过图像匹配对待校准发音的嘴部画面中的嘴部动作和对应的第一发音片段的嘴部画面中的嘴部动作进行嘴型比对和舌位比对。嘴型比对的具体方法是：采集待校准发音的嘴唇轮廓线，对待校准发音的嘴唇轮廓线进行图像识别分析，获得包括待校准发音的嘴唇形状、嘴唇张开程度、嘴角状态等嘴部状态，与对应的第一发音片段的嘴部状态进行比较。舌位比对的具体方法是：采集待校准发音的舌头，主要是舌尖与齿部和嘴唇的位置关系，与对应的第一发音片段的舌尖与齿部和嘴唇的位置关系进行比较。通过嘴型比对和舌位比对，获得待校准发音与对应的第一发音片段的偏差部位和偏差程度，进而获得使待校准发音的嘴部画面中的嘴部动作匹配对应的第一发音片段的嘴部画面中的嘴部动作的校准提示信息，以提示用户纠正待校准发音的发音偏差。其中，图像匹配采用的是已有的图像匹配算法，因此不再展开说明。

进一步地，校准提示信息包括使待校准发音的嘴部画面中的嘴型和舌位匹配对应的第一发音片段的嘴部画面中的嘴型和舌位的校准提示画面和校准提示语音，以通过推送至第二用户的课程界面的校准提示画面和校准提示语音，帮助第二用户纠正其发音时的嘴型和舌位。

图6示出实施例中在第二用户的课程界面推送校准提示信息的示意。本实施例以发音练习“three”为例。通过发音内容的识别比对，筛选出待校准发音“th”，进一步通过嘴部画面的比对，获得需要调整舌尖与齿部位置的校准提示信息。具体参照图6所示，校准提示画面610可以通过图像叠加的方式，以待校准发音的嘴部画面6101的嘴部动作为基础，在待校准发音的嘴部画面6101的嘴部动作之上叠加突出第一发音片段的嘴部画面6102的嘴部动作，经去重处理后形成校准提示画面610。同时，校准提示语音620播报校准提示画面610的校准方式和标准发音，校准方式如“请将舌尖微卷，轻咬于上下齿之间”，并可以显示相应的文字。通过校准动作展示和校准语音播报，使第二用户通过其课程界面200即能获得针对性的发音校准互动。

在图6所示的课程界面200，通过点击“发音练习“three””按钮，可以切换至如图3所示的界面状态，同步播放关于发音练习“three”的当前音节“th”的第一发音视频和第二发音视频，以供第二用户观察其与第一发音视频之间的嘴部画面比对。在图3所示的界面状态，当前嘴部画面320显示实时录制的第二用户的发音动作。在图3所示的课程界面200，通过点击“校准”按钮，可以切换至如图6所示的界面状态，获得校准之后的发音准确程度。从而，通过同步播放第一发音视频和第二发音视频，并基于第一发音视频校准第二发音视频，向第二用户推送使其待校准发音的嘴部动作匹配对应的第一发音片段的嘴部动作的校准提示信息，实现精准、有效的发音互动和针对性的发音校准，提升第二用户的上课体验和语言课程的教学效率。

进一步地，推送发音校准信息时，还可将各第二发音片段的发音准确度、第一发音视频、以及各第一发音片段推送至第二用户账号的课程界面，以供第二用户了解其整体发音练习的发音准确度，第二用户根据需要，可以选择性地查看对应的第一发音片段，循环播放第一发音视频，等等。

在一个实施例中，发音互动方法还包括步骤：获得多个第二用户账号共有的待校准发音，推送至第一用户账号的课程界面。例如，经统计分析，在发音练习“three”的场景中，语言课程中有超过半数的第二用户在“th”的发音上都存在问题，则筛选出该共性的待校准发音“th”，推送至第一用户账号的课程界面。第一用户根据其课程界面的推送信息，可以掌握发音练习中的共性问题，进行针对性讲解，提升语言课程的教学效率。

上述各实施例描述的语言课程的发音互动方法，通过在第二用户账号的课程界面同步播放第一用户的第一发音视频和实时录制的第二用户的第二发音视频，实现每个第二用户与第一用户之间的精准、有效的发音互动，提升语言课程的互动体验。通过基于第一发音视频校准第二发音视频，向第二用户推送使其待校准发音的嘴部动作匹配对应的第一发音片段的嘴部动作的校准提示信息，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。校准第二发音视频时，按音节时序分别对第二用户的每个发音音节进行识别比对，使第二用户通过调整嘴部动作实现每个发音音节的准确发音。

本发明实施例还提供一种语言课程的发音互动系统，基于上述任意实施例描述的语言课程的发音互动方法。图7示出实施例中语言课程的发音互动系统的主要模块，参照图7所示，本实施例中语言课程的发音互动系统700主要包括：第一响应模块710，配置为响应于第一用户账号的第一操作指令，录制第一发音视频，第一发音视频包含第一用户的嘴部画面和发音内容；第二响应模块720，配置为响应于第二用户账号的第二操作指令，在第二用户账号的课程界面同步播放第一发音视频和实时录制的第二发音视频，第二发音视频包含第二用户的嘴部画面和发音内容；以及校准推送模块730，配置为根据第一发音视频和第二发音视频，生成发音校准信息推送至第二用户账号的课程界面。

其中，第一响应模块710可用于实现上述任意语言课程的发音互动方法实施例描述的步骤S110，第二响应模块720可用于实现上述任意语言课程的发音互动方法实施例描述的步骤S120，校准推送模块730可用于实现上述任意语言课程的发音互动方法实施例描述的步骤S130。

本实施例的语言课程的发音互动系统700，通过第一响应模块710和第二响应模块720，在第二用户账号的课程界面同步播放第一用户的第一发音视频和实时录制的第二用户的第二发音视频，实现每个第二用户与第一用户之间的精准、有效的发音互动，提升语言课程的互动体验。通过校准推送模块730，基于第一发音视频校准第二发音视频，向第二用户推送使其待校准发音的嘴部动作匹配对应的第一发音片段的嘴部动作的校准提示信息，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。校准第二发音视频时，按音节时序分别对第二用户的每个发音音节进行识别比对，使第二用户通过调整嘴部动作实现每个发音音节的准确发音。

本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的语言课程的发音互动方法的步骤。

如上所述，本发明的电子设备能够通过在第二用户账号的课程界面同步播放第一用户的第一发音视频和实时录制的第二用户的第二发音视频，实现每个第二用户与第一用户之间的精准、有效的发音互动，提升语言课程的互动体验。通过基于第一发音视频校准第二发音视频，向第二用户推送使其待校准发音的嘴部动作匹配对应的第一发音片段的嘴部动作的校准提示信息，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。校准第二发音视频时，按音节时序分别对第二用户的每个发音音节进行识别比对，使第二用户通过调整嘴部动作实现每个发音音节的准确发音。

图8是本发明实施例中电子设备的结构示意图，应当理解的是，图8仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图8来描述本发明的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同平台组件(包括存储单元820和处理单元810)的总线830、显示单元840等。

其中，存储单元存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行上述实施例中描述的语言课程的发音互动方法的步骤。例如，处理单元810可以执行如图1和图4所示的步骤。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一个或多个程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900通信，外部设备900可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备900使得用户能与该电子设备800进行交互通信。电子设备800也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器860可以通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述实施例描述的语言课程的发音互动方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述实施例描述的语言课程的发音互动方法的步骤。

如上所述，本发明的计算机可读的存储介质能够通过在第二用户账号的课程界面同步播放第一用户的第一发音视频和实时录制的第二用户的第二发音视频，实现每个第二用户与第一用户之间的精准、有效的发音互动，提升语言课程的互动体验。通过基于第一发音视频校准第二发音视频，向第二用户推送使其待校准发音的嘴部动作匹配对应的第一发音片段的嘴部动作的校准提示信息，实现对每个第二用户的针对性发音校准，提升语言课程的教学效率。校准第二发音视频时，按音节时序分别对第二用户的每个发音音节进行识别比对，使第二用户通过调整嘴部动作实现每个发音音节的准确发音。

图9是本发明的计算机可读的存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读的存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种语言课程的发音互动方法，其特征在于，包括步骤：

响应于第一用户账号的第一操作指令，录制第一发音视频，所述第一发音视频包含第一用户的嘴部画面和发音内容；

响应于第二用户账号的第二操作指令，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频，所述第二发音视频包含第二用户的嘴部画面和发音内容；以及

根据所述第一发音视频和所述第二发音视频，生成发音校准信息推送至所述第二用户账号的课程界面。

2.如权利要求1所述的发音互动方法，其特征在于，所述在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频的步骤包括：

获得所述第一发音视频的按发音内容的音节时序排列的多个第一发音片段，每个所述第一发音片段包含一音节的嘴部画面和发音内容；

根据实时录制的所述第二用户的当前发音内容，将与所述当前发音内容的音节对应的第一发音片段的嘴部画面、以及实时录制的所述第二用户的当前嘴部画面同步显示于所述第二用户账号的课程界面。

3.如权利要求2所述的发音互动方法，其特征在于，所述在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频的步骤还包括：

根据所述当前发音内容的音量，同步播放与所述当前发音内容的音节对应的第一发音片段的经弱化处理的发音内容。

4.如权利要求2所述的发音互动方法，其特征在于，所述生成发音校准信息推送至所述第二用户账号的课程界面的步骤包括：

获得所述第二发音视频的对应各所述第一发音片段的多个第二发音片段；

比对每个所述第二发音片段的发音内容和对应的第一发音片段的发音内容，获得每个所述第二发音片段的发音准确度；

获得发音准确度低于预设值的第二发音片段，作为待校准发音；以及

比对所述待校准发音的嘴部画面与对应的第一发音片段的嘴部画面，根据对应的第一发音片段的嘴部画面中的嘴部动作，获得所述待校准发音的嘴部画面中的嘴部动作的校准提示信息，推送至所述第二用户账号的课程界面。

5.如权利要求4所述的发音互动方法，其特征在于，所述比对所述待校准发音的嘴部画面与对应的第一发音片段的嘴部画面的步骤中，通过图像匹配对所述待校准发音的嘴部画面中的嘴部动作和对应的第一发音片段的嘴部画面中的嘴部动作进行嘴型比对和舌位比对；以及

所述校准提示信息包括使所述待校准发音的嘴部画面中的嘴型和舌位匹配对应的第一发音片段的嘴部画面中的嘴型和舌位的校准提示画面和校准提示语音。

6.如权利要求4所述的发音互动方法，其特征在于，所述获得所述第二发音视频的对应各所述第一发音片段的多个第二发音片段的步骤包括：

按所述第二发音视频的发音内容的音节时序分割所述第二发音视频，获得连续的多个时序片段；

根据各所述第一发音片段的发音内容，依次获得与每个所述第一发音片段匹配的时序片段，形成对应每个所述第一发音片段的第二发音片段；

其中，与一所述第一发音片段匹配的时序片段包括空片段、一时序片段和两个以上时序片段拼接成的片段中的任一种。

7.如权利要求4所述的发音互动方法，其特征在于，还包括步骤：

获得多个所述第二用户账号共有的待校准发音，推送至所述第一用户账号的课程界面。

8.一种语言课程的发音互动系统，其特征在于，包括：

第一响应模块，配置为响应于第一用户账号的第一操作指令，录制第一发音视频，所述第一发音视频包含第一用户的嘴部画面和发音内容；

第二响应模块，配置为响应于第二用户账号的第二操作指令，在所述第二用户账号的课程界面同步播放所述第一发音视频和实时录制好的第二发音视频，所述第二发音视频包含第二用户的嘴部画面和发音内容；以及

校准推送模块，配置为根据所述第一发音视频和所述第二发音视频，生成发音校准信息推送至所述第二用户账号的课程界面。

9.一种电子设备，其特征在于，包括：

一处理器；

一存储器，所述存储器中存储有所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来执行如权利要求1-7任一项所述的语言课程的发音互动方法的步骤。

10.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现如权利要求1-7任一项所述的语言课程的发音互动方法的步骤。

Images