CN109669661A - 一种听写进度的控制方法及电子设备 - Google Patents

Abstract

本发明实施例涉及教育技术领域，公开了一种听写进度的控制方法及电子设备，该方法包括：在进行听写操作时获取摄像头拍摄到的第一实时面部图像；通过预设面部情绪模型识别第一实时面部图像的面部情绪，并获得第一实时面部图像的面部情绪对应的第一心情状态信息，该第一心情状态信息用于指示用户听写时的愉悦度；根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。

Description

一种听写进度的控制方法及电子设备

技术领域

本发明涉及教育技术领域，尤其涉及一种听写进度的控制方法及电子设备。

背景技术

随着科学技术的发展，学生使用电子设备(如家教机)进行学习已经越来越普遍。其中，学生可以使用电子设备进行听写训练：在听写过程中，电子设备播放学生选取的内容，学生根据电子设备播放的内容进行书写。在实践中发现，学生在听写时可能需要一段思考时间，才能书写出播放的内容。因此，学生往往需要控制听写进度来配合书写速度，以免错过后续的播放内容。但是，目前学生在听写过程中，只能通过点击虚拟按键来控制听写的进度，这样会降低听写效率和用户体验感。

发明内容

本发明实施例公开了一种听写进度的控制方法及电子设备，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。

本发明实施例第一方面公开一种听写进度的控制方法，所述方法包括：

电子设备在进行听写操作时获取摄像头拍摄到的第一实时面部图像；

所述电子设备通过预设面部情绪模型识别所述第一实时面部图像的面部情绪，并获得所述第一实时面部图像的面部情绪对应的第一心情状态信息；所述第一心情状态信息用于指示用户听写时的愉悦度；

所述电子设备根据所述第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度；其中，当所述用户听写时的愉悦度大于预设愉悦度阈值时，所述电子设备提高所述语音播报速度；当所述用户听写时的愉悦度小于预设愉悦度阈值时，所述电子设备降低所述语音播报速度。

作为一种可选的实施方式，在本发明实施例第一方面中，在进行听写操作之前，所述方法还包括：

所述电子设备播放若干测试语音，并获取所述摄像头在播放每一所述测试语音时拍摄到的第二实时面部图像，以获得与所述若干测试语音一一对应的若干第二实时面部图像；

所述电子设备通过所述预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得所述每一第二实时面部图像的面部情绪对应的第二心情状态信息；所述第二心情状态信息用于指示用户在听测试语音时的愉悦度；

所述电子设备从若干第二心情状态信息中确定出所述用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从所述若干第二实时面部图像中确定出与所述目标心情状态信息对应的目标图像；

所述电子设备从所述若干测试语音中确定出与所述目标图像对应的测试语音作为目标语音；

所述电子设备在进行听写操作时，以所述目标语音的发音特征播报听写操作的听写内容。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

所述电子设备获取用户在触摸所述电子设备的触控屏时在所述触控屏上的触摸点的实时移动速度；

所述电子设备检测所述触摸点的实时移动速度对应的书写速度与所述语音播报速度是否匹配；

如果不匹配，所述电子设备根据所述书写速度调节所述语音播报速度，以控制听写进度；其中，当所述书写速度大于所述语音播报速度时，所述电子设备提高所述语音播报速度；当所述书写速度小于所述语音播报速度时，所述电子设备降低所述语音播报速度。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

在检测到听写操作结束时，所述电子设备根据所述触摸点的移动轨迹获取用户在所述触控屏上的书写轨迹，并识别所述书写轨迹对应的书写内容；

所述电子设备将所述听写操作的听写内容与所述书写轨迹对应的书写内容进行比对，获得对所述书写内容的批改结果和听写分数，并输出所述批改结果和所述听写分数；其中，所述听写分数为对所述书写内容的批改结果进行评分获得的分数。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述电子设备输出所述批改结果和所述听写分数之后，所述方法还包括：

所述电子设备判断所述听写分数是否小于预设分数；

如果是，所述电子设备对所述听写内容作标记，获得标记听写内容；

所述电子设备设置复习周期，并基于所述复习周期为用户推送所述标记听写内容以引导用户对所述标记听写内容进行复习。

本发明实施例第二方面公开一种电子设备，所述电子设备包括：

第一获取单元，用于在进行听写操作时获取摄像头拍摄到的第一实时面部图像；

第一识别单元，用于通过预设面部情绪模型识别所述第一实时面部图像的面部情绪，并获得所述第一实时面部图像的面部情绪对应的第一心情状态信息；所述第一心情状态信息用于指示用户听写时的愉悦度；

第一调节单元，用于根据所述第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度；其中，当所述用户听写时的愉悦度大于预设愉悦度阈值时，所述电子设备提高所述语音播报速度；当所述用户听写时的愉悦度小于预设愉悦度阈值时，所述电子设备降低所述语音播报速度。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

第二获取单元，用于在进行听写操作之前，播放若干测试语音，并获取所述摄像头在播放每一所述测试语音时拍摄到的第二实时面部图像，以获得与所述若干测试语音一一对应的若干第二实时面部图像；

第二识别单元，用于通过所述预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得所述每一第二实时面部图像的面部情绪对应的第二心情状态信息；所述第二心情状态信息用于指示用户在听测试语音时的愉悦度；

第一确定单元，用于从若干第二心情状态信息中确定出所述用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从所述若干第二实时面部图像中确定出与所述目标心情状态信息对应的目标图像；

第二确定单元，用于从所述若干测试语音中确定出与所述目标图像对应的测试语音作为目标语音；

播放单元，用于在进行听写操作时，以所述目标语音的发音特征播报听写操作的听写内容。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

第三获取单元，用于获取用户在触摸所述电子设备的触控屏时在所述触控屏上的触摸点的实时移动速度；

检测单元，用于检测所述触摸点的实时移动速度对应的书写速度与所述语音播报速度是否匹配；

第二调节单元，用于在所述检测单元检测出所述触摸点的实时移动速度对应的书写速度与所述语音播报速度不匹配时，根据所述书写速度调节所述语音播报速度，以控制听写进度；其中，当所述书写速度大于所述语音播报速度时，所述电子设备提高所述语音播报速度；当所述书写速度小于所述语音播报速度时，所述电子设备降低所述语音播报速度。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

第三识别单元，用于在检测到听写操作结束时，根据所述触摸点的移动轨迹获取用户在所述触控屏上的书写轨迹，并识别所述书写轨迹对应的书写内容；

比对单元，用于将所述听写操作的听写内容与所述书写轨迹对应的书写内容进行比对，获得对所述书写内容的批改结果和听写分数，并输出所述批改结果和所述听写分数；其中，所述听写分数为对所述书写内容的批改结果进行评分获得的分数。

作为一种可选的实施方式，在本发明实施例第二方面中，所述电子设备还包括：

判断单元，用于在所述比对单元输出所述批改结果和所述听写分数之后，判断所述听写分数是否小于预设分数；

标记单元，用于在所述判断单元判断出所述听写分数小于预设分数时，对所述听写内容作标记，获得标记听写内容；

复习单元，用于设置复习周期，并基于所述复习周期为用户推送所述标记听写内容以引导用户对所述标记听写内容进行复习。

本发明实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种听写进度的控制方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种听写进度的控制方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，在检测到进行听写操作时，获取摄像头拍摄到的第一实时面部图像，并根据预设面部情绪模型对第一实时面部图像进行情绪识别，获得对应的第一心情状态信息；从而可以根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种听写进度的控制方法的流程示意图；

图2是本发明实施例公开的另一种听写进度的控制方法的流程示意图；

图3是本发明实施例公开的一种电子设备的结构示意图；

图4是本发明实施例公开的另一种电子设备的结构示意图；

图5是本发明实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种听写进度的控制方法及电子设备，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。以下结合附图，从电子设备角度出发进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种听写进度的控制方法的流程示意图。如图1所示，该听写进度的控制方法可以包括以下步骤。

101、电子设备在进行听写操作时获取摄像头拍摄到的第一实时面部图像。

本发明实施例中，电子设备可以是带有摄像头的移动平板、移动手机、家教机、点读机等，本发明实施例不作限定。

本发明实施例中，电子设备可以在进行听写操作时，开启摄像头拍摄到第一实时图像，利用面部识别算法从第一实时图像提取到第一实时面部图像。

102、电子设备通过预设面部情绪模型识别第一实时面部图像的面部情绪，并获得第一实时面部图像的面部情绪对应的第一心情状态信息。

其中，第一心情状态信息用于指示用户听写时的愉悦度。

本发明实施例中，第一实时面部图像体现出来的面部情绪可以是平和情绪、纠结情绪、自信情绪和不自信情绪等，预设面部情绪模型可以从第一实时面部图像识别出面部情绪，并输出第一实时面部图像的面部情绪对应的第一心情状态信息，使得心情状态信息的获取更加精准。

本发明实施例中，预设面部情绪模型是根据采集到的面部图像数据样本的面部情绪对面部图像数据样本进行分类，并确定出分类后的面部图像数据样本对应的心情状态数据样本，以及以面部图像数据样本的面部情绪和心情状态数据样本对训练模型进行训练得到的；其中，预设面部情绪模型包括面部图像数据样本的面部情绪和心情状态数据样本的映射关系。

103、电子设备根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。

其中，当用户听写时的愉悦度大于预设愉悦度阈值时，电子设备提高语音播报速度；当用户听写时的愉悦度小于预设愉悦度阈值时，电子设备降低语音播报速度。

举例来说，当用户的面部情绪表现出自信时，此时第一心情状态信息对应的愉悦度大于预设愉悦度阈值，电子设备可以提高语音播报速度，以配合用户的听写能力，能够进一步训练用户的听写能力；当用户的面部情绪表现出不自信时，此时第一心情状态信息对应的愉悦度小于预设愉悦度阈值，电子设备可以降低语音播报速度，以提高用户的听写准确率。

作为一种可选的实施方式，在检测到进行听写操作时，电子设备通过摄像头拍摄到的用户面部图像识别用户的身份信息，根据用户的身份信息从云端服务器中查找用户的历史听写记录，并通过用户的历史听写记录确定出听写操作的初始播报速度，基于初始播报速度进行听写操作的语音播报。实施该实施方式，能够使得听写操作时的语音播报速度更贴合用户的实际听写能力，减少语音播报速度的调节操作。

可见，实施图1所描述的听写进度的控制方法，可以在检测到进行听写操作时，获取摄像头拍摄到的第一实时面部图像，并根据预设面部情绪模型对第一实时面部图像进行情绪识别，获得对应的第一心情状态信息；从而可以根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。

实施例二

请参阅图2，图2是本发明实施例公开的另一种听写进度的控制方法的流程示意图。如图2所示，该听写进度的控制方法可以包括以下步骤。

201、电子设备在进行听写操作时获取摄像头拍摄到的第一实时面部图像。

作为一种可选的实施方式，在进行听写操作之前，还包括：

电子设备播放若干测试语音，并获取摄像头在播放每一测试语音时拍摄到的第二实时面部图像，以获得与若干测试语音一一对应的若干第二实时面部图像；

电子设备通过预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得每一第二实时面部图像的面部情绪对应的第二心情状态信息；第二心情状态信息用于指示用户在听测试语音时的愉悦度；

电子设备从若干第二心情状态信息中确定出用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从若干第二实时面部图像中确定出与目标心情状态信息对应的目标图像；

电子设备从若干测试语音中确定出与目标图像对应的测试语音作为目标语音；

电子设备在进行听写操作时，以目标语音的发音特征播报听写操作的听写内容。

实施上述方法，可以避免通过用户不喜欢的语音进行听写播报，影响心情状态信息的正确判断。

202、电子设备通过预设面部情绪模型识别第一实时面部图像的面部情绪，并获得第一实时面部图像的面部情绪对应的第一心情状态信息。

其中，第一心情状态信息用于指示用户听写时的愉悦度；

203、电子设备根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。

其中，当用户听写时的愉悦度大于预设愉悦度阈值时，电子设备提高语音播报速度；当用户听写时的愉悦度小于预设愉悦度阈值时，电子设备降低语音播报速度。

204、电子设备获取用户在触摸电子设备的触控屏时在触控屏上的触摸点的实时移动速度。

本发明实施例中，电子设备带有与触控屏匹配的智能笔，用户可以通过智能笔在触控屏上书写，电子设备可以检测智能笔在触控屏上的书写识别出书写内容，同时，电子设备可以根据智能笔在触控屏上的触摸点检测出触摸点的实时移动速度。

205、电子设备检测触摸点的实时移动速度对应的书写速度与语音播报速度是否匹配；如果是，结束本流程；如果否，执行步骤206。

206、电子设备根据书写速度调节语音播报速度，以控制听写进度。

其中，当书写速度大于语音播报速度时，电子设备提高语音播报速度；当书写速度小于语音播报速度时，电子设备降低语音播报速度。

本发明实施例中，在进行听写操作时，用户的面部情绪不发生改变时，第一心情状态信息也不发生变化；当电子设备检测到第一心情状态信息持续未改变的时长大于预设时长时，需要根据用户的书写速度去调节语音播报速度，因此，可以督促用户认真完成听写操作，提高听写效率。

举例来说，当用户通过书写生成一个字的时间小于听写时语音播报一个字的时间，此时书写速度大于语音播报速度，电子设备可以提高语音播报速度，以匹配用户的书写速度，提高听写效率；当用户通过书写生成一个字的时间大于听写时语音播报一个字的时间，此时书写速度小于语音播报速度，电子设备可以降低语音播报速度，以提高听写的准确率。

207、在检测到听写操作结束时，电子设备根据触摸点的移动轨迹获取用户在触控屏上的书写轨迹，并识别书写轨迹对应的书写内容。

本发明实施例中，电子设备可以检测到智能笔与触控屏的触摸点，获取智能笔在触控屏上的书写轨迹，从而可以识别出书写轨迹对应的书写内容，以供电子设备根据听写操作的听写内容检验书写内容。

作为一种可选的实施方式，电子设备可以通过摄像头获取用户使用普通笔根据听写内容书写的手写轨迹图像，提取手写轨迹图像中的手写轨迹，进而识别出手写轨迹对应的书写内容。实施该实施方式，能够识别普通笔的手写轨迹对应的书写内容，提高用户体验感。

208、电子设备将听写操作的听写内容与书写轨迹对应的书写内容进行比对，获得对书写内容的批改结果和听写分数，并输出批改结果和听写分数。

其中，听写分数为对书写内容的批改结果进行评分获得的分数。

209、电子设备判断听写分数是否小于预设分数；如果是，执行步骤210；如果否，结束本流程。

210、电子设备对听写内容作标记，获得标记听写内容。

211、电子设备设置复习周期，并基于复习周期为用户推送标记听写内容以引导用户对标记听写内容进行复习。

本发明实施例中，电子设备可以为标记听写内容设置复习周期，根据复习周期对应的时间将标记听写内容推送给用户，能够使用户基于复习周期对标记听写内容进行复习，提升学习成果。其中，复习周期可以是2天、3天、4天等，本发明实施例不作限定。

作为一种可选的实施方式，电子设备对用户的历史听写记录进行分析，得到用户的内容遗忘度，内容遗忘度用于指示学习一段内容后的某一段时间的遗忘程度；根据内容遗忘度设置复习周期，使得用户在遗忘内容较少的时间内对标记听写内容进行复习，巩固学习成果。

可见，实施图2所描述的听写进度的控制方法，可以在检测到进行听写操作时，获取摄像头拍摄到的第一实时面部图像，并根据预设面部情绪模型对第一实时面部图像进行情绪识别，获得对应的第一心情状态信息；从而可以根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。此外，还可以选择使用户心情愉悦的语音作为听写操作的听写内容的播报语音，排除用户不喜欢的语音对心情状态信息的影响。此外，还可以在心情状态信息不发生变化时，根据用户的书写速度调节语音播报速度，以控制听写进度，进一步提高听写效率。

实施例三

图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

第一获取单元301，用于在进行听写操作时获取摄像头拍摄到的第一实时面部图像；

本发明实施例中，第一获取单元301用于在进行听写操作时，开启摄像头拍摄到第一实时图像，利用面部识别算法从第一实时图像提取到第一实时面部图像。

第一识别单元302，用于通过预设面部情绪模型识别第一实时面部图像的面部情绪，并获得第一实时面部图像的面部情绪对应的第一心情状态信息。

其中，第一心情状态信息用于指示用户听写时的愉悦度。

本发明实施例中，第一实时面部图像体现出来的面部情绪可以是平和情绪、纠结情绪、自信情绪和不自信情绪等，预设面部情绪模型可以从第一实时面部图像识别出面部情绪，并输出第一实时面部图像的面部情绪对应的第一心情状态信息，使得心情状态信息的获取更加精准。

本发明实施例中，预设面部情绪模型是根据采集到的面部图像数据样本的面部情绪对面部图像数据样本进行分类，并确定出分类后的面部图像数据样本对应的心情状态数据样本，以及以面部图像数据样本的面部情绪和心情状态数据样本对训练模型进行训练得到的；其中，预设面部情绪模型包括面部图像数据样本的面部情绪和心情状态数据样本的映射关系。

第一调节单元303，用于根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。

其中，当用户听写时的愉悦度大于预设愉悦度阈值时，电子设备提高语音播报速度；当用户听写时的愉悦度小于预设愉悦度阈值时，电子设备降低语音播报速度。

举例来说，当用户的面部情绪表现出自信时，此时第一心情状态信息对应的愉悦度大于预设愉悦度阈值，电子设备可以提高语音播报速度，以配合用户的听写能力，能够进一步训练用户的听写能力；当用户的面部情绪表现出不自信时，此时第一心情状态信息对应的愉悦度小于预设愉悦度阈值，电子设备可以降低语音播报速度，以提高用户的听写准确率。

作为一种可选的实施方式，在检测到进行听写操作时，第一获取单元301还用于通过摄像头拍摄到的用户面部图像识别用户的身份信息，根据用户的身份信息从云端服务器中查找用户的历史听写记录，并通过用户的历史听写记录确定出听写操作的初始播报速度，基于初始播报速度进行听写操作的语音播报。实施该实施方式，能够使得听写操作时的语音播报速度更贴合用户的实际听写能力，减少语音播报速度的调节操作。

可见，实施图3所描述的电子设备，可以在检测到进行听写操作时，获取摄像头拍摄到的第一实时面部图像，并根据预设面部情绪模型对第一实时面部图像进行情绪识别，获得对应的第一心情状态信息；从而可以根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。

实施例四

图4是本发明实施例公开的另一种电子设备的结构示意图。如图4所示，其中，图4所示的电子设备是由图3所示的电子设备进行优化得到的。与图3所示的电子设备相比较，图4所示的电子设备还可以包括：

第二获取单元304，用于在进行听写操作之前，播放若干测试语音，并获取摄像头在播放每一测试语音时拍摄到的第二实时面部图像，以获得与若干测试语音一一对应的若干第二实时面部图像；

第二识别单元305，用于通过预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得每一第二实时面部图像的面部情绪对应的第二心情状态信息；第二心情状态信息用于指示用户在听测试语音时的愉悦度；

第一确定单元306，用于从若干第二心情状态信息中确定出用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从若干第二实时面部图像中确定出与目标心情状态信息对应的目标图像；

第二确定单元307，用于从若干测试语音中确定出与目标图像对应的测试语音作为目标语音；

播放单元308，用于在进行听写操作时，以目标语音的发音特征播报听写操作的听写内容。

执行上述单元，可以避免通过用户不喜欢的语音进行听写播报，影响心情状态信息的正确判断。

第三获取单元309，用于获取用户在触摸电子设备的触控屏时在触控屏上的触摸点的实时移动速度。

本发明实施例中，电子设备带有与触控屏匹配的智能笔，用户可以通过智能笔在触控屏上书写，第三获取单元309用于检测智能笔在触控屏上的书写识别出书写内容，根据智能笔在触控屏上的触摸点检测出触摸点的实时移动速度。

检测单元310，用于检测触摸点的实时移动速度对应的书写速度与语音播报速度是否匹配；

第二调节单元311，用于在检测单元310检测出触摸点的实时移动速度对应的书写速度与语音播报速度不匹配时，根据书写速度调节语音播报速度，以控制听写进度。

其中，当书写速度大于语音播报速度时，电子设备提高语音播报速度；当书写速度小于语音播报速度时，电子设备降低语音播报速度。

本发明实施例中，在进行听写操作时，用户的面部情绪不发生改变时，第一心情状态信息也不发生变化；当电子设备检测到第一心情状态信息持续未改变的时长大于预设时长时，需要根据用户的书写速度去调节语音播报速度，因此，可以督促用户认真完成听写操作，提高听写效率。

举例来说，当用户通过书写生成一个字的时间小于听写时语音播报一个字的时间，此时书写速度大于语音播报速度，电子设备可以提高语音播报速度，以匹配用户的书写速度，提高听写效率；当用户通过书写生成一个字的时间大于听写时语音播报一个字的时间，此时书写速度小于语音播报速度，电子设备可以降低语音播报速度，以提高听写的准确率。

第三识别单元312，用于在检测到听写操作结束时，根据触摸点的移动轨迹获取用户在触控屏上的书写轨迹，并识别书写轨迹对应的书写内容。

本发明实施例中，电子设备可以检测到智能笔与触控屏的触摸点，获取智能笔在触控屏上的书写轨迹，从而可以识别出书写轨迹对应的书写内容，以供电子设备根据听写操作的听写内容检验书写内容。

作为一种可选的实施方式，第三识别单元312还用于通过摄像头获取用户使用普通笔根据听写内容书写的手写轨迹图像，提取手写轨迹图像中的手写轨迹，进而识别出手写轨迹对应的书写内容。实施该实施方式，能够识别普通笔的手写轨迹对应的书写内容，提高用户体验感。

比对单元313，用于将听写操作的听写内容与书写轨迹对应的书写内容进行比对，获得对书写内容的批改结果和听写分数，并输出批改结果和听写分数；其中，听写分数为对书写内容的批改结果进行评分获得的分数。

判断单元314，用于在比对单元313输出批改结果和听写分数之后，判断听写分数是否小于预设分数；

标记单元315，用于在判断单元判断出听写分数小于预设分数时，对听写内容作标记，获得标记听写内容；

复习单元316，用于设置复习周期，并基于复习周期为用户推送标记听写内容以引导用户对标记听写内容进行复习。

本发明实施例中，复习单元316用于为标记听写内容设置复习周期，根据复习周期对应的时间将标记听写内容推送给用户，能够使用户基于复习周期对标记听写内容进行复习，提升学习成果。其中，复习周期可以是2天、3天、4天等，本发明实施例不作限定。

作为一种可选的实施方式，复习单元316用于对用户的历史听写记录进行分析，得到用户的内容遗忘度，内容遗忘度用于指示学习一段内容后的某一段时间的遗忘程度；根据内容遗忘度设置复习周期，使得用户在遗忘内容较少的时间内对标记听写内容进行复习，巩固学习成果。

可见，实施图4所描述的电子设备，可以在检测到进行听写操作时，获取摄像头拍摄到的第一实时面部图像，并根据预设面部情绪模型对第一实时面部图像进行情绪识别，获得对应的第一心情状态信息；从而可以根据第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度。实施本发明实施例，能够根据面部情绪调节听写进度，从而提高听写效率和用户体验感。此外，还可以选择使用户心情愉悦的语音作为听写操作的听写内容的播报语音，排除用户不喜欢的语音对心情状态信息的影响。此外，还可以在心情状态信息不发生变化时，根据用户的书写速度调节语音播报速度，以控制听写进度，进一步提高听写效率。

实施例五

请参阅图5，图5是本发明实施例公开的另一种电子设备的结构示意图。如图5所示，该电子设备可以包括：

存储有可执行程序代码的存储器501；

与存储器501耦合的处理器502；

其中，处理器502调用存储器501中存储的可执行程序代码，执行图1～图2任意一种听写进度的控制方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图2任意一种听写进度的控制方法。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种听写进度的控制方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种听写进度的控制方法，其特征在于，所述方法包括：

电子设备在进行听写操作时获取摄像头拍摄到的第一实时面部图像；

所述电子设备通过预设面部情绪模型识别所述第一实时面部图像的面部情绪，并获得所述第一实时面部图像的面部情绪对应的第一心情状态信息；所述第一心情状态信息用于指示用户听写时的愉悦度；

所述电子设备根据所述第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度；其中，当所述用户听写时的愉悦度大于预设愉悦度阈值时，所述电子设备提高所述语音播报速度；当所述用户听写时的愉悦度小于预设愉悦度阈值时，所述电子设备降低所述语音播报速度。

2.根据权利要求1所述的方法，其特征在于，在进行听写操作之前，所述方法还包括：

所述电子设备播放若干测试语音，并获取所述摄像头在播放每一所述测试语音时拍摄到的第二实时面部图像，以获得与所述若干测试语音一一对应的若干第二实时面部图像；

所述电子设备通过所述预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得所述每一第二实时面部图像的面部情绪对应的第二心情状态信息；所述第二心情状态信息用于指示用户在听测试语音时的愉悦度；

所述电子设备从若干第二心情状态信息中确定出所述用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从所述若干第二实时面部图像中确定出与所述目标心情状态信息对应的目标图像；

所述电子设备从所述若干测试语音中确定出与所述目标图像对应的测试语音作为目标语音；

所述电子设备在进行听写操作时，以所述目标语音的发音特征播报听写操作的听写内容。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述电子设备获取用户在触摸所述电子设备的触控屏时在所述触控屏上的触摸点的实时移动速度；

所述电子设备检测所述触摸点的实时移动速度对应的书写速度与所述语音播报速度是否匹配；

如果不匹配，所述电子设备根据所述书写速度调节所述语音播报速度，以控制听写进度；其中，当所述书写速度大于所述语音播报速度时，所述电子设备提高所述语音播报速度；当所述书写速度小于所述语音播报速度时，所述电子设备降低所述语音播报速度。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在检测到听写操作结束时，所述电子设备根据所述触摸点的移动轨迹获取用户在所述触控屏上的书写轨迹，并识别所述书写轨迹对应的书写内容；

所述电子设备将所述听写操作的听写内容与所述书写轨迹对应的书写内容进行比对，获得对所述书写内容的批改结果和听写分数，并输出所述批改结果和所述听写分数；其中，所述听写分数为对所述书写内容的批改结果进行评分获得的分数。

5.根据权利要求4所述的方法，其特征在于，在所述电子设备输出所述批改结果和所述听写分数之后，所述方法还包括：

所述电子设备判断所述听写分数是否小于预设分数；

如果是，所述电子设备对所述听写内容作标记，获得标记听写内容；

所述电子设备设置复习周期，并基于所述复习周期为用户推送所述标记听写内容以引导用户对所述标记听写内容进行复习。

6.一种电子设备，其特征在于，所述电子设备包括：

第一获取单元，用于在进行听写操作时获取摄像头拍摄到的第一实时面部图像；

第一识别单元，用于通过预设面部情绪模型识别所述第一实时面部图像的面部情绪，并获得所述第一实时面部图像的面部情绪对应的第一心情状态信息；所述第一心情状态信息用于指示用户听写时的愉悦度；

第一调节单元，用于根据所述第一心情状态信息调节听写操作时的语音播报速度，以控制听写进度；其中，当所述用户听写时的愉悦度大于预设愉悦度阈值时，所述电子设备提高所述语音播报速度；当所述用户听写时的愉悦度小于预设愉悦度阈值时，所述电子设备降低所述语音播报速度。

7.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括：

第二获取单元，用于在进行听写操作之前，播放若干测试语音，并获取所述摄像头在播放每一所述测试语音时拍摄到的第二实时面部图像，以获得与所述若干测试语音一一对应的若干第二实时面部图像；

第二识别单元，用于通过所述预设面部情绪模型识别每一第二实时面部图像的面部情绪，以获得所述每一第二实时面部图像的面部情绪对应的第二心情状态信息；所述第二心情状态信息用于指示用户在听测试语音时的愉悦度；

第一确定单元，用于从若干第二心情状态信息中确定出所述用户在听测试语音时的愉悦度最大的第二心情状态信息作为目标心情状态信息，并从所述若干第二实时面部图像中确定出与所述目标心情状态信息对应的目标图像；

第二确定单元，用于从所述若干测试语音中确定出与所述目标图像对应的测试语音作为目标语音；

播放单元，用于在进行听写操作时，以所述目标语音的发音特征播报听写操作的听写内容。

8.根据权利要求6或7所述的电子设备，其特征在于，所述电子设备还包括：

第三获取单元，用于获取用户在触摸所述电子设备的触控屏时在所述触控屏上的触摸点的实时移动速度；

检测单元，用于检测所述触摸点的实时移动速度对应的书写速度与所述语音播报速度是否匹配；

第二调节单元，用于在所述检测单元检测出所述触摸点的实时移动速度对应的书写速度与所述语音播报速度不匹配时，根据所述书写速度调节所述语音播报速度，以控制听写进度；其中，当所述书写速度大于所述语音播报速度时，所述电子设备提高所述语音播报速度；当所述书写速度小于所述语音播报速度时，所述电子设备降低所述语音播报速度。

9.根据权利要求8所述的电子设备，其特征在于，所述电子设备还包括：

第三识别单元，用于在检测到听写操作结束时，根据所述触摸点的移动轨迹获取用户在所述触控屏上的书写轨迹，并识别所述书写轨迹对应的书写内容；

比对单元，用于将所述听写操作的听写内容与所述书写轨迹对应的书写内容进行比对，获得对所述书写内容的批改结果和听写分数，并输出所述批改结果和所述听写分数；其中，所述听写分数为对所述书写内容的批改结果进行评分获得的分数。

10.根据权利要求9所述的电子设备，其特征在于，所述电子设备还包括：

判断单元，用于在所述比对单元输出所述批改结果和所述听写分数之后，判断所述听写分数是否小于预设分数；

标记单元，用于在所述判断单元判断出所述听写分数小于预设分数时，对所述听写内容作标记，获得标记听写内容；

复习单元，用于设置复习周期，并基于所述复习周期为用户推送所述标记听写内容以引导用户对所述标记听写内容进行复习。