CN111079414A - 一种听写检测方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及教育技术领域，公开了一种听写检测方法、电子设备及存储介质。该方法包括：在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据听写词语的读音而书写后的书写页面；判断听写词语的读音是否属于听写音频中最后一个听写词语的读音，若属于，保存书写页面；若不属于，判断用户是否发生翻页动作，若是，保存书写页面；在听写终止时，对保存的所有书写页面进行听写检测。实施本发明实施例，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

Description

一种听写检测方法、电子设备及存储介质

技术领域

本发明涉及教育技术领域，具体涉及一种听写检测方法、电子设备及存储介质。

背景技术

目前，学生用户在课后经常使用点读机、家教机、学习机或学习平板等电子设备进行听写练习，而电子设备会在用户完成听写练习后，采集用户的书写页面，识别书写页面中用户根据电子设备播报的听写内容而书写的听写答案，并检测听写答案是否有误。

在实践中发现，由于每次听写练习中电子设备播报的听写词语的数量并不固定，导致有时候在一次听写练习中用户根据听写词语所书写的听写答案没有写满一页，而有时候在一次听写练习中用户所书写的听写答案写了好几页，然而电子设备在用户完成听写练习之后，常常直接采集用户所书写的最后一页书写页面进行听写检测，导致检测不准确。或者，需要通过用户手动多次拍摄采集，将用户所书写的所有书写页面补全，可是该方式浪费用户太多时间精力。

发明内容

针对上述缺陷，本发明实施例公开了一种听写检测方法、电子设备及存储介质，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

本发明实施例第一方面公开一种听写检测方法，包括：

在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据所述听写词语的读音而书写后的书写页面；

判断所述听写词语的读音是否属于所述听写音频中最后一个听写词语的读音，若属于，保存所述书写页面；

若不属于，判断所述用户是否发生翻页动作，若是，保存所述书写页面；

在听写终止时，对保存的所有书写页面进行听写检测。

作为一种可选的实施方式，在本发明实施例第一方面中，所述判断所述用户是否发生翻页动作，包括：

判断所述书写页面上各个书写区域是否均写有书写内容；

若所述各个书写区域均写有书写内容，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第一方面中，还包括：

若所述各个书写区域不是均写有书写内容，在预设时长内以预设频率拍摄获得若干帧用户图像；

提取所述若干帧用户图像中最先一帧用户图像的第一文字区域轮廓，以及提取所述若干帧用户图像中最后一帧用户图像的第二文字区域轮廓；

计算所述第一文字区域轮廓与所述第二文字区域轮廓的相似度；

若所述相似度小于预设阈值，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述在预设时长内以预设频率拍摄获得若干帧用户图像之后，所述方法还包括：

从所述用户图像中提取手部区域子图，以及根据提取的若干帧所述手部区域子图，判断用户的手部是否进行预设手势操作；

若是，且所述相似度小于预设阈值，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第一方面中，所述对保存的所有书写页面进行听写检测，包括：

获取保存的所有书写页面各自的拍摄时刻；

按照所述拍摄时刻的先后顺序对所述所有书写页面进行排序；

根据所述听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

本发明实施例第二方面公开一种电子设备，包括：

拍摄单元，用于在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据所述听写词语的读音而书写后的书写页面；

第一判断单元，用于判断所述听写词语的读音是否属于所述听写音频中最后一个听写词语的读音；

保存单元，用于在所述第一判断单元的判断结果为是时，保存所述书写页面；

第二判断单元，用于在所述第一判断单元的判断结果为否时，判断所述用户是否发生翻页动作；

所述保存单元，还用于在所述第二判断单元判定所述用户发生翻页动作时，保存所述书写页面；

检测单元，用于在听写终止时，对保存的所有书写页面进行听写检测。

作为一种可选的实施方式，在本发明实施例第二方面中，所述第二判断单元包括：

判断子单元，用于在所述第一判断单元的判断结果为否时，判断所述书写页面上各个书写区域是否均写有书写内容；

判定子单元，用于在所述判断子单元判断出所述各个书写区域均写有书写内容时，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述拍摄单元，还用于在所述判断子单元判断出所述各个书写区域不是均写有书写内容时，在预设时长内以预设频率拍摄获得若干帧用户图像；

以及，所述电子设备还包括：

提取单元，用于提取所述若干帧用户图像中最先一帧用户图像的第一文字区域轮廓；以及，提取所述若干帧用户图像中最后一帧用户图像的第二文字区域轮廓；

计算单元，用于计算所述第一文字区域轮廓与所述第二文字区域轮廓的相似度；

所述判定子单元，还用于在所述相似度小于预设阈值时，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述提取单元，还用于在所述拍摄单元在预设时长内以预设频率拍摄获得若干帧用户图像之后，从所述用户图像中提取手部区域子图；

所述判断子单元，还用于根据提取的若干帧所述手部区域子图，判断用户的手部是否进行预设手势操作；

所述判定子单元，具体用于在所述判断子单元判断出用户的手部进行预设手势操作，且所述相似度小于预设阈值时，判定所述用户发生翻页动作。

作为一种可选的实施方式，在本发明实施例第二方面中，所述检测单元包括：

获取子单元，用于在听写终止时，获取保存的所有书写页面各自的拍摄时刻；

排序子单元，用于按照所述拍摄时刻的先后顺序对所述所有书写页面进行排序；

批改子单元，用于根据所述听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

本发明实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种听写检测方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种听写检测方法。所述计算机可读存储介质包括ROM/RAM、磁盘或光盘等。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音时，拍摄获得用户根据听写词语的读音而书写后的书写页面，判断听写词语的读音是否属于听写音频中最后一个听写词语的读音，若属于，保存书写页面；若不属于，且判断出用户发生翻页动作，保存书写页面，然后在听写终止时对保存的所有书写页面进行听写检测，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种听写检测方法的流程示意图；

图2是本发明实施例公开的另一种听写检测方法的流程示意图；

图3是本发明实施例公开的一种电子设备的结构示意图；

图4是本发明实施例公开的另一种电子设备的结构示意图；

图5是本发明实施例公开的又一种电子设备的结构示意图；

图6是本发明实施例公开的一种电子设备拍摄获得书写页面的拍摄过程示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明实施例中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“装设”、“连接”、“相连”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明实施例公开了一种听写检测方法、电子设备及存储介质，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

其中，本发明实施例所示的方法适用于家教机、学习机、点读机、学习平板或学习电脑等电子设备。其中，各类电子设备的操作系统包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等，本发明实施例不做限定。本发明实施例的执行主体以电子设备为例进行描述，应理解，不应对本发明构成任何限定。以下结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种听写检测方法的流程示意图。如图1所示，该听写检测方法可以包括以下步骤：

101、在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，电子设备拍摄获得用户根据听写词语的读音而书写后的书写页面。

本发明实施例中，听写词语包括但不限于语文生字词、语文拼音字母、英文短语、英文单词、英文字母、英文音标、化学元素名称及符号、音乐唱名等任意一种内容，本发明在此不作具体限定。其中音乐唱名指的是如do、re、mi、fa、so、la、si等内容。

可选地，电子设备报读完毕任一听写词语的读音后，可以获取设置于电子设备的传感装置在指定时长内检测到的传感信号，并根据该传感信号识别用户是否根据听写词语的读音而书写完毕，若书写完毕，拍摄获得用户根据听写词语的读音而书写后的书写页面。其中，传感装置包括但不限于红外线传感装置、图像传感装置或超声波传感装置等。通过该实施方式，能够准确识别用户根据听写词语的读音而书写完毕的时刻，使电子设备更加智能。

本发明实施例中，用于拍摄书写页面的拍摄模组可设置于电子设备配有显示屏的一面，并且该面装设有反光装置，反光装置的镜面与拍摄模组的镜头面成预设的角度。请一并参阅图6，图6是本发明实施例公开的一种电子设备拍摄获得书写页面的拍摄过程示例图。如图6所示，电子设备控制拍摄模组拍摄反光装置中的镜像作为书写页面的方式可以为：图中电子设备10可以设置有拍摄模组20，拍摄模组20用于拍摄以获得书写页面；在拍摄模组20正前方还可以设置有反光装置30(例如，反光镜、棱镜或凸透镜等)，反光装置30用于改变拍摄模组的光路，进而使得拍摄模组20拍摄到载体40获得书写页面。通过使用电子设备10的拍摄模组20拍摄得到的载体40在反光装置30中的成像，而不用手动改变电子设备10的放置方式，能够简化拍摄过程，提高拍摄效率。其中，载体40具体可以为放置在桌面上的教科书、著名文学小说或教材练习册等，本发明实施例不作具体限定。

需要说明的是，听写音频具体可以包括若干个听写词语的读音。

可选地，其中若干个听写词语可以是在电子设备进入听写模式之前，电子设备根据接收到的用户在听写选择界面上输入的选择指令而确定的。

具体地，执行步骤101之前，还可以执行以下步骤：当电子设备进入听写模式时，电子设备在设置于电子设备的电子屏幕上显示听写选择界面，以供用户进行听写词语的选择，以及接收用户在听写选择界面上输入的选择指令，根据选择指令确定若干个听写词语，然后调取每一个听写词语对应的音频资料，按照用户选择的先后顺序，对若干个音频资料进行排序，以生成听写音频，用以在听写过程中进行播报。

通过该实施方式，能够基于用户的听写意愿，生成用户个性化的听写词语供用户进行听写练习，能够更加满足用户的听写需求，增加用户粘度。

进一步可选地，电子设备进入听写模式的具体实施方式可以是在接收到用户输入的听写唤醒语音时，电子设备在电子屏幕上显示人脸识别界面以供用户进行人脸识别操作，当识别到用户人脸识别成功，且用户以预设表情进行人脸识别操作时，控制电子设备进入听写模式。

其中，预设表情具体可以是预先设定的与听写模式相对应的表情。

通过该实施方式，可以增加用户启动听写过程的趣味性，帮助用户调动积极的情绪来进行听写学习，以提高学习效率。

举例来说，假设预先设定有“吐舌头”表情对应点读模式，“单闭眼”表情对应听写模式、“扮鬼脸”表情对应背诵模式，或者“鼓脸颊”表情对应智能问答模式等等。那么，当识别到用户人脸识别成功，且用户以“单闭眼”表情进行人脸识别操作时，可以控制电子设备进入听写模式。或者，当识别到用户人脸识别成功，且用户以“吐舌头”表情进行人脸识别操作时，可以控制电子设备进入点读模式。通过该方式，可以在电子设备的模式切换的同时进行趣味性的人机交互，以增加用户粘度。

可以理解的是，在用户进行人脸识别操作的过程中，电子设备会获取相应的影像或图像用以人脸识别，基于人脸识别技术就能够从影像或图像中提取出人脸特征信息，根据该人脸特征信息即可识别用户的表情。

102、电子设备判断听写词语的读音是否属于听写音频中最后一个听写词语的读音。若否，执行步骤103；若是，执行步骤104。

需要说明的是，若听写词语的读音属于听写音频中最后一个听写词语的读音，说明听写即将结束，当前所拍摄到的书写页面属于本次听写过程中用户书写的最后一个书写页面，因此将其保存。而若听写词语的读音不属于听写音频中最后一个听写词语的读音，说明听写仍在进行，那么用户有可能出于各种原因(比如一时兴起)对当前未写满的页面进行翻页动作，为了准确地记录本次听写过程中用户书写的所有书写页面，在判定用户发生翻页动作时，保存当前所拍摄到的书写页面作为本次听写过程中的中间页面。

103、电子设备判断用户是否发生翻页动作。若是，执行步骤104；反之，结束本流程。

104、电子设备保存书写页面。

105、在听写终止时，电子设备对保存的所有书写页面进行听写检测。

作为一种可选的实施方式，电子设备在保存书写页面的同时也可以保存该书写页面的拍摄时刻，因此，步骤105可以包括以下步骤S1～S3：

S1、获取保存的所有书写页面各自的拍摄时刻。

S2、按照拍摄时刻的先后顺序对所有书写页面进行排序。

S3、根据听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

通过该实施方式，按照拍摄时刻对所有书写页面进行排序后再进行逐一批改，能够提高听写检测的效率。

作为另一种可选的实施方式，步骤S3具体可以包括：

依次从排序后的每一书写页面中提取出用户书写成型的若干书写词语，获取每一书写词语对应的听写词语，以获取每一书写词语对应的标准答案，其中，标准答案与听写词语一一对应；

若任一书写词语的成型字形与该任一书写词语对应的标准答案不匹配，将该任一书写词语标记为错误字词；

若任一书写词语的成型字形与该任一书写词语对应的标准答案相匹配，且该任一书写词语的书写时长达到预设阈值，将该任一书写词语标记为正确字词；

若任一书写词语的成型字形与该任一书写词语对应的标准答案相匹配，且该任一书写词语的书写时长未达到预设阈值，将该任一书写词语标记为掌握字词。

实施该实施方式，通过根据成型字形和书写时长，将用户书写的书写词语批改为错误词语、正确词语和掌握词语三种掌握程度不同的词语，能够帮助用户有层次地了解听写检测结果，以便进一步巩固练习，从而改善用户的听写学习效果。

可见，实施图1所描述的方法，在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音时，拍摄获得用户根据听写词语的读音而书写后的书写页面，判断听写词语的读音是否属于听写音频中最后一个听写词语的读音，若属于，保存书写页面；若不属于，且判断出用户发生翻页动作，保存书写页面，然后在听写终止时对保存的所有书写页面进行听写检测，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

实施例二

请参阅图2，图2是本发明实施例公开的另一种听写检测方法的流程示意图。如图2所示，该听写检测方法可以包括以下步骤：

201、在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，电子设备拍摄获得用户根据听写词语的读音而书写后的书写页面。

202、电子设备判断听写词语的读音是否属于听写音频中最后一个听写词语的读音。若否，执行步骤203；若是，转向步骤209。

203、电子设备判断书写页面上各个书写区域是否均写有书写内容。若否，执行步骤204；若是，转向步骤208。

其中，书写区域包括若干个单字区域，单字区域指的是足够供用户书写一个单字或单词的区域。例如，假设用户听写的是语文的生字词，那么单字区域可以是作业本上的田字格。又如，假设用户听写的是英文的单词或字母，那么单字区域可以是作业本上供用户写一个单词或字母的区域。因此，书写区域可以是包括一个或多个单字区域的区域，本发明在此不作具体限定。

204、电子设备在预设时长内以预设频率拍摄获得若干帧用户图像。

需要说明的是，电子设备在执行以预设频率拍摄获得若干帧用户图像的操作的同时，有可能已经开始报读下一个听写词语的读音，也有可能尚未开始报读下一个听写词语的读音，具体的实施过程可根据实际情况而定。

可以理解的是，具体的实施过程与听写音频的播报间隙以及预设时长有关，如果播报间隙小于预设时长，那么电子设备在执行以预设频率拍摄获得若干帧用户图像的操作的同时，可以开始报读下一个听写词语的读音；如果播报间隙大于预设时长，那么电子设备在执行完毕以预设频率拍摄获得若干帧用户图像的操作后，也有可能尚未开始报读下一个听写词语的读音。

其中，预设时长具体可以为3秒、2.3秒或5秒等数值，具体采用何数值，可由开发人员根据实际需求而设定，在此不做具体限定。

作为一种可选的实施方式，在执行步骤201之前，电子设备还可以执行以下步骤：获取用户的学习计划中满足当前时间段的若干个听写词语，以及调取每一个听写词语对应的音频资料；获取用户上一次进行朗读学习的朗读记录数据，根据该朗读记录数据确定用户的声音特性；根据音频资料、预设播报间隙以及声音特性，以预设的语音合成算法生成听写音频。其中，预设的语音合成算法可以为线性预测编码方法(LPC)或基音同步叠加方法(PSOLA)等；用户的声音特性用于描述存储的上一次进行朗读学习的用户的声音特征，例如，高兴、激动、生气等情绪下的声音特征标识，或者表示快速或平稳等语速方面的声音特征标识，从而可得到多种声音特性，提高了朗读声音的多样性。通过该实施方式，能够结合上一次进行朗读学习的用户的声音特性，形成具有该声音特征的听写音频，在听写过程中实现了听写音频的多样性，提高了趣味性，以吸引用户提高学习注意力。

205、电子设备提取若干帧用户图像中最先一帧用户图像的第一文字区域轮廓，以及提取若干帧用户图像中最后一帧用户图像的第二文字区域轮廓。

本发明实施例中，用户图像为包含用户手部区域和文字区域的图像，或者，为包含用户手部区域、文字区域和图案区域的图像。

可以理解的是，第一文字区域轮廓可以包括一个或多个文字区域轮廓，当用户图像中仅有一片完整的文字区域(用户图像不包含图案区域)时，文字区域轮廓也只有一个；当用户图像中包含有多个文字区域(用户图像包含一个或多个图案区域)时，文字区域轮廓对应地也有多个。

需要说明的是，在拍摄的若干帧用户图像过程中，假设用户发生了翻页动作，那么除了最先一帧用户图像以及最后一帧用户图像之外，中间的若干个用户图像有可能是在用户发生翻页动作的同时拍摄到的，说明中间的若干个用户图像有可能不是在稳定状态下拍摄到的，因此，排除中间的若干个用户图像，采用最先一帧用户图像以及最后一帧用户图像，能够提高文字区域轮廓的提取准确率，从而减少用户发生翻页动作的误判率。

作为一种可选的实施方式，电子设备提取最先一帧用户图像的第一文字区域轮廓的方式具体可以是电子设备对若干帧用户图像中最先一帧用户图像进行对比度增强处理，然后对增强处理后的最先一帧用户图像进行灰度处理，以及获取灰度处理后的最先一帧用户图像中的第一文字区域，并提取第一文字区域的轮廓作为第一文字区域轮廓。同理可得，电子设备提取若干帧用户图像中最后一帧用户图像的第二文字区域轮廓的具体实施方式，在此不再赘述。通过该实施方式，能够提高文字区域轮廓的提取准确率。

206、电子设备计算第一文字区域轮廓与第二文字区域轮廓的相似度。

可选地，步骤206具体可以包括：电子设备获取第一文字区域轮廓与第二文字区域轮廓各自的重心，将两个重心叠放，以使两个重心重合，然后计算第一文字区域轮廓与第二文字区域轮廓的重合面积，将重合面积与第一文字区域轮廓的面积的商作为相似度，或者，将重合面积与第二文字区域轮廓的面积的商作为相似度，从而能够提高电子设备计算第一文字区域轮廓与第二文字区域轮廓的相似度的效率与速度。

207、电子设备判断相似度是否小于预设阈值。若是，执行步骤208；否则，结束本流程。

可以理解的是，相似度越小，最先一帧用户图像中的文字区域与最后一帧用户图像中的文字区域不是同一文字页面的可能性就越大。

其中，预设阈值可以是开发人员根据实际情况而预先设定的。

208、电子设备判定用户发生翻页动作。

作为一种可选的实施方式，执行步骤204之后，还可以执行以下步骤：电子设备从用户图像中提取手部区域子图，以及根据提取的若干帧手部区域子图，判断用户的手部是否进行预设手势操作，若是，且相似度小于预设阈值，判定用户发生翻页动作。通过该实施方式，能够减少翻页动作的误判率。

209～210。其中，针对步骤209～210的描述，请参照实施例一中针对步骤104～105的详细描述，本发明在此不再赘述。

可见，与实施图1所描述的方法相比较，实施图2所描述的方法，还能够通过判断书写页面上各个书写区域是否均写有书写内容、通过检测拍摄到的若干帧用户图像中最先一帧用户图像以及最后一帧用户图像的相似、以及通过判断用户的手部是否进行预设手势操作，来判断用户是否发生翻页动作，能够提高用户发生翻页动作的判定准确率，从而进一步提高听写检测的准确率。

实施例三

请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

拍摄单元301，用于在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据听写词语的读音而书写后的书写页面。

第一判断单元302，用于判断听写词语的读音是否属于听写音频中最后一个听写词语的读音。

保存单元303，用于在第一判断单元302的判断结果为是时，保存书写页面。

第二判断单元304，用于在第一判断单元302的判断结果为否时，判断用户是否发生翻页动作。

保存单元303，还用于在第二判断单元304判定用户发生翻页动作时，保存书写页面。

检测单元305，用于在听写终止时，对保存的所有书写页面进行听写检测。

可选地，图3所示的电子设备还可以包括以下未图示的单元：

显示单元，用于在电子设备进入听写模式时，在设置于电子设备的电子屏幕上显示听写选择界面，以供用户进行听写词语的选择；

接收单元，用于接收用户在听写选择界面上输入的选择指令；

调取单元，用于根据选择指令确定若干个听写词语，然后调取每一个听写词语对应的音频资料，按照用户选择的先后顺序，对若干个音频资料进行排序，以生成听写音频，用以在听写过程中进行播报。

通过该实施方式，能够基于用户的听写意愿，生成用户个性化的听写词语供用户进行听写练习，能够更加满足用户的听写需求，增加用户粘度。

进一步可选地，上述的显示单元，还用于在接收到用户输入的听写唤醒语音时，在电子屏幕上显示人脸识别界面，以供用户进行人脸识别操作；

以及，图3所示的电子设备还可以包括未图示的启动单元，用于在识别到用户的人脸识别成功，且用户以预设表情进行人脸识别操作时，控制电子设备进入听写模式。

其中，预设表情具体可以是预先设定的与听写模式相对应的表情。

通过该实施方式，可以增加用户启动听写过程的趣味性，帮助用户调动积极的情绪来进行听写学习，以提高学习效率。

可选地，上述的拍摄单元301，具体可以用于在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，获取设置于电子设备的传感装置在指定时长内检测到的传感信号，并根据该传感信号识别用户是否根据听写词语的读音而书写完毕，若书写完毕，拍摄获得用户根据听写词语的读音而书写后的书写页面。其中，传感装置包括但不限于红外线传感装置、图像传感装置或超声波传感装置等。通过该实施方式，能够准确识别用户根据听写词语的读音而书写完毕的时刻，使电子设备更加智能。

可见，实施图3所示的电子设备，在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音时，拍摄获得用户根据听写词语的读音而书写后的书写页面，判断听写词语的读音是否属于听写音频中最后一个听写词语的读音，若属于，保存书写页面；若不属于，且判断出用户发生翻页动作，保存书写页面，然后在听写终止时对保存的所有书写页面进行听写检测，能够智能地对多个书写页面进行检测，以提高听写检测的准确率。

实施例四

请参阅图4，图4是本发明实施例公开的另一种电子设备的结构示意图。其中，图4所示的电子设备是由图3所示的电子设备进行优化得到的，与图3相比较，图4所示的电子设备中，第二判断单元304可以包括：

判断子单元3041，用于在第一判断单元302的判断结果为否时，判断书写页面上各个书写区域是否均写有书写内容。

判定子单元3042，用于在判断子单元3041判断出各个书写区域均写有书写内容时，判定用户发生翻页动作。

作为一种可选的实施方式，图4所示的电子设备中，拍摄单元301，还用于在判断子单元3041判断出各个书写区域不是均写有书写内容时，在预设时长内以预设频率拍摄获得若干帧用户图像。

以及，图4所示的电子设备还可以包括：

提取单元306，用于提取若干帧用户图像中最先一帧用户图像的第一文字区域轮廓；以及，提取若干帧用户图像中最后一帧用户图像的第二文字区域轮廓。

计算单元307，用于计算第一文字区域轮廓与第二文字区域轮廓的相似度。

判定子单元3042，还用于在相似度小于预设阈值时，判定用户发生翻页动作。

进一步可选地，提取单元306，还用于在拍摄单元301在预设时长内以预设频率拍摄获得若干帧用户图像之后，从用户图像中提取手部区域子图。

判断子单元3041，还用于根据提取的若干帧手部区域子图，判断用户的手部是否进行预设手势操作。

判定子单元3042，具体用于在判断子单元3041判断出用户的手部进行预设手势操作，且相似度小于预设阈值时，判定用户发生翻页动作。

作为一种可选的实施方式，图4所示的电子设备中，检测单元305包括：

获取子单元3051，用于在听写终止时，获取保存的所有书写页面各自的拍摄时刻。

排序子单元3052，用于按照拍摄时刻的先后顺序对所有书写页面进行排序。

批改子单元3053，用于根据听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

实施该实施方式，按照拍摄时刻，对所有书写页面进行排序后再进行逐一批改，能够提高听写检测的效率。

可选地，上述的批改子单元3053可以包括以下未图示的模块：

提取模块，用于依次从排序后的每一书写页面中提取出用户书写成型的若干书写词语，获取每一书写词语对应的听写词语，以获取每一书写词语对应的标准答案，其中标准答案与听写词语一一对应；

标记模块，用于在任一书写词语的成型字形与该任一书写词语对应的标准答案不匹配时，将该任一书写词语标记为错误字词；以及在任一书写词语的成型字形与该任一书写词语对应的标准答案相匹配，且该任一书写词语的书写时长达到预设阈值时，将该任一书写词语标记为正确字词；以及在任一书写词语的成型字形与该任一书写词语对应的标准答案相匹配，且该任一书写词语的书写时长未达到预设阈值时，将该任一书写词语标记为掌握字词。

实施该实施方式，通过根据成型字形和书写时长，将用户书写的书写词语批改为错误词语、正确词语和掌握词语三种掌握程度不同的词语，能够帮助用户有层次地了解听写检测结果，以便进一步巩固练习，从而改善用户的听写学习效果。

进一步可选地，图4所示的电子设备还可以包括以下未图示的单元：

获取单元，用于在电子设备进入听写模式之前，获取用户的学习计划中满足当前时间段的若干个听写词语；以及，调取每一个听写词语对应的音频资料；

确定单元，用于获取用户上一次进行朗读学习的朗读记录数据，根据该朗读记录数据确定用户的声音特性；

生成单元，用于根据音频资料、预设播报间隙以及声音特性，以预设的语音合成算法生成听写音频。

其中，预设的语音合成算法可以为线性预测编码方法(LPC)或基音同步叠加方法(PSOLA)等；用户的声音特性用于描述存储的上一次进行朗读学习的用户的声音特征，例如，高兴、激动、生气等情绪下的声音特征标识，或者表示快速或平稳等语速方面的声音特征标识，从而可得到多种声音特性，提高了朗读声音的多样性。

通过该实施方式，能够结合上一次进行朗读学习的用户的声音特性，形成具有该声音特征的听写音频，在听写过程中实现了听写音频的多样性，提高了趣味性，以吸引用户提高学习注意力。

作为一种可选的实施方式，图4所示的电子设备中：

提取单元306用于提取若干帧用户图像中最先一帧用户图像的第一文字区域轮廓的方式具体可以是：

提取单元306，用于对若干帧用户图像中最先一帧用户图像进行对比度增强处理，然后对增强处理后的最先一帧用户图像进行灰度处理；以及，获取灰度处理后的最先一帧用户图像中的第一文字区域，并提取第一文字区域的轮廓作为第一文字区域轮廓。同理可得，提取单元306提取若干帧用户图像中最后一帧用户图像的第二文字区域轮廓的具体实施方式，在此不再赘述。

通过该实施方式，能够提高文字区域轮廓的提取准确率。

可选地，上述的计算单元307可以包括以下未图示的模块：

叠合模块，用于获取第一文字区域轮廓与第二文字区域轮廓各自的重心，将两个重心叠放，以使两个重心重合；

计算模块，用于计算第一文字区域轮廓与第二文字区域轮廓的重合面积，将重合面积与第一文字区域轮廓的面积的商作为相似度；或者，将重合面积与第二文字区域轮廓的面积的商作为相似度。

实施该实施方式，能够提高计算第一文字区域轮廓与第二文字区域轮廓的相似度的效率与速度。

可见，与实施图3所示的电子设备相比较，实施图4所示的电子设备，还能够通过判断书写页面上各个书写区域是否均写有书写内容、通过检测拍摄到的若干帧用户图像中最先一帧用户图像以及最后一帧用户图像的相似、以及通过判断用户的手部是否进行预设手势操作，来判断用户是否发生翻页动作，能够提高用户发生翻页动作的判定准确率，从而进一步提高听写检测的准确率。

实施例五

请参阅图5，图5是本发明实施例公开的又一种电子设备的结构示意图。如图5所示，该电子设备可以包括：

存储有可执行程序代码的存储器501；

与存储器501耦合的处理器502；

其中，处理器502调用存储器501中存储的可执行程序代码，执行图1～图2任意一种听写检测方法。

需要说明的是，图5所示的电子设备还可以包括电源、输入按键、扬声器、麦克风、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图2任意一种听写检测方法。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人员可以理解上述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种听写检测方法、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种听写检测方法，其特征在于，包括：

在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据所述听写词语的读音而书写后的书写页面；

判断所述听写词语的读音是否属于所述听写音频中最后一个听写词语的读音，若属于，保存所述书写页面；

若不属于，判断所述用户是否发生翻页动作，若是，保存所述书写页面；

在听写终止时，对保存的所有书写页面进行听写检测。

2.根据权利要求1所述的方法，其特征在于，所述判断所述用户是否发生翻页动作，包括：

判断所述书写页面上各个书写区域是否均写有书写内容；

若所述各个书写区域均写有书写内容，判定所述用户发生翻页动作。

3.根据权利要求2所述的方法，其特征在于，还包括：

若所述各个书写区域不是均写有书写内容，在预设时长内以预设频率拍摄获得若干帧用户图像；

提取所述若干帧用户图像中最先一帧用户图像的第一文字区域轮廓，以及提取所述若干帧用户图像中最后一帧用户图像的第二文字区域轮廓；

计算所述第一文字区域轮廓与所述第二文字区域轮廓的相似度；

若所述相似度小于预设阈值，判定所述用户发生翻页动作。

4.根据权利要求3所述的方法，其特征在于，所述在预设时长内以预设频率拍摄获得若干帧用户图像之后，所述方法还包括：

从所述用户图像中提取手部区域子图，以及根据提取的若干帧所述手部区域子图，判断用户的手部是否进行预设手势操作；

若是，且所述相似度小于预设阈值，判定所述用户发生翻页动作。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对保存的所有书写页面进行听写检测，包括：

获取保存的所有书写页面各自的拍摄时刻；

按照所述拍摄时刻的先后顺序对所述所有书写页面进行排序；

根据所述听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

6.一种电子设备，其特征在于，包括：

拍摄单元，用于在听写过程中，若电子设备报读完毕听写音频中任一听写词语的读音，拍摄获得用户根据所述听写词语的读音而书写后的书写页面；

第一判断单元，用于判断所述听写词语的读音是否属于所述听写音频中最后一个听写词语的读音；

保存单元，用于在所述第一判断单元的判断结果为是时，保存所述书写页面；

第二判断单元，用于在所述第一判断单元的判断结果为否时，判断所述用户是否发生翻页动作；

所述保存单元，还用于在所述第二判断单元判定所述用户发生翻页动作时，保存所述书写页面；

检测单元，用于在听写终止时，对保存的所有书写页面进行听写检测。

7.根据权利要求6所述的电子设备，其特征在于，所述第二判断单元包括：

判断子单元，用于在所述第一判断单元的判断结果为否时，判断所述书写页面上各个书写区域是否均写有书写内容；

判定子单元，用于在所述判断子单元判断出所述各个书写区域均写有书写内容时，判定所述用户发生翻页动作。

8.根据权利要求7所述的电子设备，其特征在于：

所述拍摄单元，还用于在所述判断子单元判断出所述各个书写区域不是均写有书写内容时，在预设时长内以预设频率拍摄获得若干帧用户图像；

以及，所述电子设备还包括：

提取单元，用于提取所述若干帧用户图像中最先一帧用户图像的第一文字区域轮廓；以及，提取所述若干帧用户图像中最后一帧用户图像的第二文字区域轮廓；

计算单元，用于计算所述第一文字区域轮廓与所述第二文字区域轮廓的相似度；

所述判定子单元，还用于在所述相似度小于预设阈值时，判定所述用户发生翻页动作。

9.根据权利要求8所述的电子设备，其特征在于：

所述提取单元，还用于在所述拍摄单元在预设时长内以预设频率拍摄获得若干帧用户图像之后，从所述用户图像中提取手部区域子图；

所述判断子单元，还用于根据提取的若干帧所述手部区域子图，判断用户的手部是否进行预设手势操作；

所述判定子单元，具体用于在所述判断子单元判断出用户的手部进行预设手势操作，且所述相似度小于预设阈值时，判定所述用户发生翻页动作。

10.根据权利要求6至9任一项所述的电子设备，其特征在于，所述检测单元包括：

获取子单元，用于在听写终止时，获取保存的所有书写页面各自的拍摄时刻；

排序子单元，用于按照所述拍摄时刻的先后顺序对所述所有书写页面进行排序；

批改子单元，用于根据所述听写词语对应的标准答案，对排序后的书写页面逐一进行批改。

11.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至5任一项所述的一种听写检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至5任一项所述的一种听写检测方法。

Images