CN109300347A - 一种基于图像识别的听写辅助方法及家教设备 - Google Patents

Abstract

本发明实施例涉及计算机技术领域，公开了一种基于图像识别的听写辅助方法及家教设备，该方法包括：获取目标图片，该目标图片包含有用于提供给用户听写的内容信息；通过图像识别技术识别所述目标图片中的内容信息，并从内容信息中提取出文字信息；根据文字信息生成待听写内容；以待处理任务的方式推送待听写内容，并在用户接受待处理任务时控制播放待听写内容，以辅助用户完成对待听写内容的听写；实施本发明实施例，能够提供较为灵活的听写辅助功能，满足用户的各种听写需求，帮助用户提高听写能力和掌握更多的生字词语。

Description

一种基于图像识别的听写辅助方法及家教设备

技术领域

本发明涉及计算机技术领域，具体涉及一种基于图像识别的听写辅助方法及家教设备。

背景技术

市面上针对学生听写提供了各式各样的听写应用程序(Application，APP)，通常而言，听写APP会对应课文的生字词语来设置听写内容，学生在课后可以基于听写APP进行课文的生字词语的听写练习，以提高听写能力和帮助学生尽快掌握课文中的生字词语。但在实际教学场景中，老师往往在课文的生字词语的基础上额外拓展一些词汇，并要求学生也能够掌握，对于老师拓展的这部分词汇，学生却不能通过听写APP来辅助练习。可见，听写APP的使用范围比较局限，无法满足学生的各种听写需求。

发明内容

本发明实施例公开了一种基于图像识别的听写辅助方法及家教设备，用于为学生提供灵活的听写辅助功能，满足学生的各种听写需求。

本发明第一方面公开了一种基于图像识别的听写辅助方法，可包括：

获取目标图片，所述目标图片包含有用于提供给用户听写的内容信息；

通过图像识别技术识别所述目标图片中的所述内容信息，并从所述内容信息中提取出文字信息；

根据所述文字信息生成待听写内容；

以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

作为一种可选的实施方式，在本发明第一方面中，所述获取目标图片包括：

检测家教设备接收到的听写任务通知，所述听写任务通知由与所述家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

所述根据所述文字信息生成待听写内容之后，所述方法还包括：

根据所述听写时间设置所述待听写内容的推送时间点；

检测当前时间点是否满足所述推送时间点；

当所述当前时间点满足所述推送时间点时，控制所述家教设备内置的摄像头拍摄所述家教设备屏幕前方以获得拍摄图像；

通过图像识别技术检测是否从所述拍摄图像中提取到人像区域；

当检测到所述人像区域时，识别所述人像区域所在人物对象的当前姿态是否与预设姿态相适配；

当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，执行所述以待处理任务的方式推送所述待听写内容的步骤。

作为一种可选的实施方式，在本发明第一方面中，当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，以及所述以待处理任务的方式推送所述待听写内容之前，所述方法还包括：

从所述家教设备预存的人像信息中匹配所述人物对象；

当匹配到所述人物对象时，获取所述人物对象的账号信息；

所述在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写之后，所述方法还包括：

获取用户完成所述待听写内容所获得的听写得分；

将所述目标图片、所述听写得分以及所述账号信息发送给所述终端设备，以使所述终端设备控制打开班级管理应用客户端并通过所述账号信息登录至所述班级管理应用客户端，以将所述目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

作为一种可选的实施方式，在本发明第一方面中，所述根据所述文字信息生成待听写内容包括：

对所述文字信息进行单元划分，以获得至少一个文字单元，所述文字单元为单字、词语、成语或句子；

对所述至少一个文字单元进行排序组合，以获得初始单元集合；

依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；

从语音库中提取语音模板；

基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

所述以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写，包括：

以待处理任务的方式推送所述语音单元集合，并在用户接受所述待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

作为一种可选的实施方式，在本发明第一方面中，所述以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写，包括：

弹出任务推送窗口，所述任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，所述提示信息用户提示用户需要完成所述待处理任务推送的所述待听写内容；

检测用户对所述任务推送窗口上的所述听写确认按钮的触压操作；

判断所述触压操作对应的触压压力值是否大于或等于预设压力值；

当所述触压压力值大于或者等于所述预设压力值，确定用户接受所述待处理任务，控制开始播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

本发明第二方面公开了一种家教设备，可包括：

获取单元，用于获取目标图片，所述目标图片包含有用于提供给用户听写的内容信息；

识别单元，用于通过图像识别技术识别所述目标图片中的所述内容信息，并从所述内容信息中提取出文字信息；

生成单元，用于根据所述文字信息生成待听写内容；

听写单元，用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

作为一种可选的实施方式，在本发明第二方面中，所述获取单元用于获取目标图片的方式具体为：

所述获取单元，用于检测所述家教设备接收到的听写任务通知，所述听写任务通知由与所述家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

所述家教设备还包括：

设置单元，用于在所述生成单元根据所述文字信息生成待听写内容之后，根据所述听写时间设置所述待听写内容的推送时间点；

检测单元，用于检测当前时间点是否满足所述推送时间点；

拍摄单元，用于当所述检测单元检测到所述当前时间点满足所述推送时间点时，控制所述家教设备内置的摄像头拍摄所述家教设备屏幕前方以获得拍摄图像；

所述识别单元，还用于通过图像识别技术检测是否从所述拍摄图像中提取到人像区域；以及，当检测到所述人像区域时，识别所述人像区域所在人物对象的当前姿态是否与预设姿态相适配；

所述听写单元用于以待处理任务的方式推送所述待听写内容的方式具体为：

所述听写单元，用于当所述识别单元识别出所述人像区域所在人物对象的当前姿态与所述预设姿态相适配时，以待处理任务的方式推送所述待听写内容。

作为一种可选的实施方式，在本发明第二方面中，所述家教设备还包括：

匹配单元，用于当所述识别单元识别出所述人像区域所在人物对象的当前姿态与所述预设姿态相适配时，以及所述听写单元以待处理任务的方式推送所述待听写内容之前，从所述家教设备预存的人像信息中匹配所述人物对象；以及，当匹配到所述人物对象时，获取所述人物对象的账号信息；

反馈单元，用于在所述听写单元在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写之后，获取用户完成所述待听写内容所获得的听写得分；以及，将所述目标图片、所述听写得分以及所述账号信息发送给所述终端设备，以使所述终端设备控制打开班级管理应用客户端并通过所述账号信息登录至所述班级管理应用客户端，以将所述目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

作为一种可选的实施方式，在本发明第二方面中，所述生成单元用于根据所述文字信息生成待听写内容的方式具体为：

所述生成单元，用于对所述文字信息进行单元划分，以获得至少一个文字单元，所述文字单元为单字、词语、成语或句子；以及，对所述至少一个文字单元进行排序组合，以获得初始单元集合；以及，依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；以及，从语音库中提取语音模板；以及，基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

所述听写单元用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

所述听写单元，用于以待处理任务的方式推送所述语音单元集合，并在用户接受所述待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

作为一种可选的实施方式，在本发明第二方面中，所述听写单元用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

所述听写单元，用于弹出任务推送窗口，所述任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，所述提示信息用户提示用户需要完成所述待处理任务推送的所述待听写内容；以及，检测用户对所述任务推送窗口上的所述听写确认按钮的触压操作；以及，判断所述触压操作对应的触压压力值是否大于或等于预设压力值；以及，当所述触压压力值大于或者等于所述预设压力值，确定用户接受所述待处理任务，控制开始播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

本发明第三方面公开了一种家教设备，可包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的一种基于图像识别的听写辅助方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于图像识别的听写辅助方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。

与现有技术相比，本发明实施例具有以下有益效果：

在本发明实施例中，家教设备在获取到包含有用于提供给用户听写的内容信息的图标图片之后，通过图像识别技术识别该目标图片中的上述内容信息，并从上述内容信息中提取出文字信息，然后根据文字信息生成待听写内容，以待处理任务的方式推送上述待听写内容，并在用户接受上述待处理任务时控制播放上述待听写内容，以辅助用户完成对上述待听写内容的听写；可以看出，实施本发明实施例，家教设备能够自动识别图片中的内容信息，从而生成对应的听写内容，然后进一步辅助用户完成对该听写内容的听写练习，以实现较为灵活的听写辅助功能，满足用户在各种场景下的使用需求，使用范围较广，帮助用户提高听写能力和掌握更多的生字词语。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例公开的基于图像识别的听写辅助方法的流程示意图；

图2为本发明另一实施例公开的基于图像识别的听写辅助方法的流程示意图；

图3为本发明又一实施例公开的基于图像识别的听写辅助方法的流程示意图；

图4为本发明实施例公开的家教设备的结构示意图；

图5为本发明另一实施例公开的家教设备的结构示意图；

图6为本发明又一实施例公开的家教设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种基于图像识别的听写辅助方法，能够提供较为灵活的听写辅助功能，帮助用户提高听写能力和掌握更多的生字词语。本发明实施例还相应地提供了一种家教设备。

下面将从家教设备角度出发，通过具体实施例对本发明技术方案进行详细介绍。

实施例一

请参阅图1，图1为本发明一实施例公开的基于图像识别的听写辅助方法的流程示意图；如图1所示，一种基于图像识别的听写辅助方法可包括：

101、家教设备获取目标图片，该目标图片包含有用于提供给用户听写的内容信息。

在本发明实施例中，目标图片可以通过以下几种渠道整理得到：

A1、老师汇总、整理出一些需要学生完成听写的生字词语句子等，或者汇总、整理出除去课文必须要完成的生字词语之外的生字词语句子等，并打印出来，对打印的纸张进行扫描获得目标图片，其中，目标图片可以先发送到家长的终端设备中，然后由家长通过终端设备将目标图片发送给家教设备。

A2、家长自己根据老师给到的学习要求，根据学习要求整理出来的生字词语句子等，然后生成目标图片，并发送给家教设备。

以上仅仅是给到两种可实现的方式，当然本发明还可以通过其它方式获取到目标图片，以用于帮助学生提高听写能力，方式较为灵活，而不用受限于家教设备本地所存储的听写内容。

102、家教设备通过图像识别技术识别上述目标图片中的内容信息，并从该内容信息中提取出文字信息。

其中，通过图像识别技术识别目标图片的内容信息可以参照现有的识别手段，在此不再赘述。

103、家教设备根据该文字信息生成待听写内容。

104、家教设备以待处理任务的方式推送该待听写内容，并在用户接受该待处理任务时控制播放待听写内容，以辅助用户完成对待听写内容的听写。

作为一种可选的实施方式，步骤104可以通过以下方式实现：

弹出任务推送窗口，该任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，上述提示信息用户提示用户需要完成待处理任务推送的待听写内容；

检测用户对上述任务推送窗口上的听写确认按钮的触压操作；

判断触压操作对应的触压压力值是否大于或等于预设压力值；

当触压压力值大于或者等于预设压力值，确定用户接受上述待处理任务，控制开始播放待听写内容，以辅助用户完成对待听写内容的听写。

其中，在上述实施方式中，通过任务推送窗口来推送待听写内容，并在任务推送窗口上显示听写确认按钮及听写拒绝按钮、以及提示信息，其中，听写确认按钮用于提供确认接受该待处理任务的接口，听写拒绝按钮用于提供拒绝接受该待处理任务的接口。在检测到用户对听写确认按钮的触压操作，并且该触压操作对应的触压压力值大于或等于预设压力值时，才最终确认用户接受该待处理任务，从而控制开始播放待听写内容，以防止用户误操作。

可选地，上述判断触压操作对应的触压压力值是否大于或等于预设压力值可以替换为以下方式实现：判断触压操作在该听写确认按钮所在区域中所占据的触压面积是否大于或等于预设面积。进而当触压压力值大于或者等于预设压力值，确定用户接受上述待处理任务，控制开始播放待听写内容，以辅助用户完成对待听写内容的听写对应包括：当触压操作在听写确认按钮所在区域中所占据的触压面积大于或等于预设面积时，确定用户接受上述待处理任务，控制开始播放待听写内容，以辅助用户完成对待听写内容的听写。例如，听写确认按钮所在区域的总面积为20，触压操作在听写确认按钮所在区域中所占据的触压面积为18时，而预设面积为12，确认其触压面积大于或等于预设面积。通过该实施方式，能够防止用户误操作。

进一步地可选地，当触压压力值小于预设压力值时，输出询问消息，该询问消息以用于询问用户是否想要触压该听写确认按钮；当接收到用户对该询问消息的响应消息，并且该响应消息指示用户想要触压该听写确认按钮时，输出提示信息，该提示信息提示用户正确触压该听写确认按钮；在该响应消息指示用户不是想要触压该听写确认按钮时，结束本流程。通过该实施方式，可以在触压压力值小于预设压力值时，与用户进行互动确认是否需要触压听写确认按钮，更加智能化。

进一步地可选地，当检测到用户对上述任务推送窗口上的听写拒绝按钮的触压操作时，关闭该任务推送窗口，并向终端设备发送警示信息，该警示信息用于告知终端设备的用户(如家长)家教设备用户拒绝完成听写任务，以便终端设备实现人为监管。当检测到用户的调出指令时，执行弹出任务推送窗口的步骤。

通过实施上述实施例，家教设备在获取到包含有用于提供给用户听写的内容信息的图标图片之后，通过图像识别技术识别该目标图片中的上述内容信息，并从上述内容信息中提取出文字信息，然后根据文字信息生成待听写内容，以待处理任务的方式推送上述待听写内容，并在用户接受上述待处理任务时控制播放上述待听写内容，以辅助用户完成对上述待听写内容的听写；可以看出，实施本发明实施例，家教设备能够自动识别图片中的内容信息，从而生成对应的听写内容，然后进一步辅助用户完成对该听写内容的听写练习，以实现较为灵活的听写辅助功能，帮助用户提高听写能力和掌握更多的生字词语。

实施例二

请参阅图2，图2为本发明另一实施例公开的基于图像识别的听写辅助方法的流程示意图；如图2所示，一种基于图像识别的听写辅助方法可包括：

201、家教设备检测接收到的听写任务通知，该听写任务通知由与家教设备绑定的终端设备发送且至少包括目标图片及听写时间。

其中，家教设备与终端设备绑定，终端设备可以用于监管家教设备，家教设备可以直接将听写任务通知发送到家教设备上。

可选地，可以在听写任务通知上携带听写时间，该听写时间通常滞后于发送该听写任务通知的时间。

进一步地可选地，听写任务通知还可以包括听写次数。

202、家教设备通过图像识别技术识别目标图片中的内容信息，并从该内容信息中提取出文字信息。

203、家教设备根据文字信息生成待听写内容。

204、家教设备根据听写时间设置该待听写内容的推送时间点。

如果听写任务通知还包括听写次数，家教设备除了设置推送时间点，还将设置听写次数，即用户需要针对待听写内容重复听写该听写次数对应的次数。举例来说，听写次数为3，那么用户需要重新听写三遍该待听写内容。

205、家教设备检测当前时间点是否满足推送时间点；其中，当当前时间点满足推送时间点时，转向步骤206；当当前时间点不满足推送时间点时，转向执行205。

206、家教设备控制内置的摄像头拍摄其屏幕前方以获得拍摄图像。

207、家教设备通过图像识别技术检测是否从拍摄图像中提取到人像区域。其中，当检测到人像区域时，转向步骤208；当未检测到人像区域时，转向步骤207。

208、家教设备识别人像区域所在人物对象的当前姿态是否与预设姿态相适配；其中，当人像区域所在人物对象的当前姿态与预设姿态相适配，转向步骤209；当人像区域所在人物对象的当前姿态与预设姿态不适配时，输出用于提示用户调整当前姿态的提示信息。

可以理解，在确定当前时间点满足推送时间点时、且用户以正常姿态端坐在家教设备屏幕前方，即用户已做好听写准备时，将执行步骤209。

209、家教设备以待处理任务的方式推送待听写内容，并在用户接受该待处理任务时控制播放待听写内容，以辅助用户完成对待听写内容的听写。

作为一种可选的实施方式，当人像区域所在人物对象的当前姿态与预设姿态相适配时，以及在执行步骤209之前，家教设备还可以执行以下步骤：

从家教设备预存的人像信息中匹配人物对象；

当匹配到上述人物对象时，获取该人物对象的账号信息；

进而，家教设备在执行完步骤209之后，还可以执行：

获取用户完成该待听写内容所获得的听写得分；

将目标图片、听写得分以及账号信息发送给终端设备，以使终端设备控制打开班级管理应用客户端并通过账号信息登录至班级管理应用客户端，以将目标图片与听写得分关联记录至班级管理应用客户端上。

可以理解，学校系统作为一个服务器，然后教师及家长均可以登录到服务器，为了方便管理，针对班级设置班级模块，教师可以在自己的终端设备上下载班级管理应用客户端，然后利用服务器分配给自己的教师账号登录，同样，家长可以在自己的终端设备上下载班级管理应用客户端，并利用服务器分配给其孩子(学生)的账号进行登录。基于此，在上述实施方式中，可以获取用户的听写得分，然后发送给终端设备，以便终端设备上传至班级管理应用客户端，以实现教师或学校对学生学习进度的监管。

作为一种可选的实施方式，在获取用户完成该待听写内容所获得的听写得分之后，还统计用户听写该待听写内容的次数，若该次数满足设置的听写次数时，则结束听写流程，若该次数未满足设置的听写次数时，执行控制播放待听写内容的步骤，以辅助用户再次完成对待听写内容的听写。

实施上述实施例，能够自动识别图片中的内容信息，从而生成对应的听写内容，并且智能检测在到达推送时间点，并且用户已经以正确姿态坐于家教设备屏幕前方时，控制播放待听写内容，以进一步辅助用户完成对该听写内容的听写练习，以实现较为灵活的听写辅助功能，帮助用户提高听写能力和掌握更多的生字词语。

实施例三

请参阅图3，图3为本发明又一实施例公开的基于图像识别的听写辅助方法的流程示意图；如图3所示，该基于图像识别的听写辅助方法可包括：

301、家教设备获取目标图片，该目标图片包含有用于提供给用户听写的内容信息。

302、家教设备通过图像识别技术识别目标图片中的内容信息，并从该内容信息中提取出文字信息。

303、家教设备对文字信息进行单元划分，以获得至少一个文字单元，该文字单元为单字、词语、成语或句子。

304、家教设备对至少一个文字单元进行排序组合，以获得初始单元集合。

305、家教设备依次标记初始单元集合中相邻两个文字单元之间的听写间隔时长，以获得中间单元集合；其中，听写间隔时长以相邻两个文字单元中的在前文字单元的字数为依据进行设置。

其中，依次对相邻两个文字单元进行听写间隔时长设置，假设将相邻两个文字单元作为一个单元对，那么一个单元对对应一个听写间隔时长，任意两个单元对的听写间隔时长可以不同，也可以相同，具体地，由于听写间隔时长以相邻两个文字单元中的在前文字单元的字数为依据进行设置，因此，若任意两个单元对中的在前文字单元的字数相同，则其听写间隔时长相同，若任意两个单元对中的在前文字单元的字数不相同，则其听写间隔时长不相同。举例来说，单元对为：【成长喜欢】，“成长”为该单元对中的在前文字单元。可以看出，根据在前文字单元的次数来设置听写间隔时长，能够提供足够的时间给到用户完成听写，以避免听写间隔时长过短，而听写的当前文字单元的次数太多时，导致的没有足够时间完成听写便进入到下一个文字单元的听写，影响听写效果。

306、家教设备从语音库中提取语音模板。

可选地，家教设备可以获取用户的性别信息，根据该性别信息从语音库中提取与该性别信息对应的语音模板(如用户为男性用户，则提取男发音的语音模板)。

307、家教设备基于语音模板依次将中间单元集合中的文字单元转换成听写语音单元，以获得语音单元集合，并根据听写间隔时长对语音单元集合中的相邻两个听写语音单元进行对应标记。

308、家教设备以待处理任务的方式推送语音单元集合，并在用户接受该待处理任务时基于听写间隔时长控制播放语音单元集合中的听写语音单元，以辅助用户完成对语音单元集合的听写。

通过上述实施方式，家教设备可以设置任意两个文字单元之间的听写间隔时长，以确保用户能够有足够时间完成听写，以实现较为灵活的听写辅助功能，帮助用户提高听写能力和掌握更多的生字词语。

实施例四

请参阅图4，图4为本发明实施例公开的家教设备的结构示意图；如图4所示，该家教设备可包括：

获取单元410，用于获取目标图片，该目标图片包含有用于提供给用户听写的内容信息；

识别单元420，用于通过图像识别技术识别上述目标图片中的上述内容信息，并从内容信息中提取出文字信息；

生成单元430，用于根据上述文字信息生成待听写内容；

听写单元440，用于以待处理任务的方式推送所述待听写内容，并在用户接受该待处理任务时控制播放待听写内容，以辅助用户完成对待听写内容的听写。

作为一种可选的实施方式，上述听写单元440用于以待处理任务的方式推送待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

上述听写单元440，用于弹出任务推送窗口，该任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，该提示信息用户提示用户需要完成待处理任务推送的所述待听写内容；以及，检测用户对任务推送窗口上的听写确认按钮的触压操作；以及，判断触压操作对应的触压压力值是否大于或等于预设压力值；以及，当触压压力值大于或者等于预设压力值，确定用户接受所述待处理任务，控制开始播放上述待听写内容，以辅助用户完成对该待听写内容的听写。

通过上述实施方式，在检测到用户对听写确认按钮的触压操作，并且该触压操作对应的触压压力值大于或等于预设压力值时，才最终确认用户接受该待处理任务，从而控制开始播放待听写内容，以防止用户误操作。

可选地，上述听写单元440用于判断触压操作对应的触压压力值是否大于或等于预设压力值可以由以下方式实现：听写单元440判断触压操作在该听写确认按钮所在区域中所占据的触压面积是否大于或等于预设面积。进而，上述听写单元440用于当触压压力值大于或者等于预设压力值，确定用户接受上述待处理任务，控制开始播放待听写内容，以辅助用户完成对待听写内容的听写对应包括：听写单元440用于当触压操作在听写确认按钮所在区域中所占据的触压面积大于或等于预设面积时，确定用户接受上述待处理任务，控制开始播放待听写内容，以辅助用户完成对待听写内容的听写。

进一步地，上述听写单元440还用于当触压压力值小于预设压力值时，输出询问消息，该询问消息以用于询问用户是否想要触压该听写确认按钮；当接收到用户对该询问消息的响应消息，并且该响应消息指示用户想要触压该听写确认按钮时，输出提示信息，该提示信息提示用户正确触压该听写确认按钮；在该响应消息指示用户不是想要触压该听写确认按钮时，结束本流程。通过该实施方式，可以在触压压力值小于预设压力值时，与用户进行互动确认是否需要触压听写确认按钮，更加智能化。

进一步地可选地，上述听写单元440当检测到用户对上述任务推送窗口上的听写拒绝按钮的触压操作时，关闭该任务推送窗口，并向终端设备发送警示信息，该警示信息用于告知终端设备的用户(如家长)家教设备用户拒绝完成听写任务，以便终端设备实现人为监管。

请进一步参阅图5，图5为本发明另一实施例公开的家教设备的结构示意图；图5所示的家教设备是在图4所示的家教设备的基础上进行优化得到，图5所示的家教设备还包括：设置单元510、检测单元520及拍摄单元530。

进而，上述获取单元410用于获取目标图片的方式具体为：

上述获取单元410，用于检测家教设备接收到的听写任务通知，该听写任务通知由与家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

设置单元510，用于在生成单元430根据文字信息生成待听写内容之后，根据听写时间设置所述待听写内容的推送时间点；

检测单元520，用于检测当前时间点是否满足推送时间点；

拍摄单元530，用于当上述检测单元520检测到当前时间点满足推送时间点时，控制家教设备内置的摄像头拍摄家教设备屏幕前方以获得拍摄图像；

上述识别单元420，还用于通过图像识别技术检测是否从拍摄图像中提取到人像区域；以及，当检测到人像区域时，识别人像区域所在人物对象的当前姿态是否与预设姿态相适配；

上述听写单元440用于以待处理任务的方式推送待听写内容的方式具体为：

上述听写单元440，用于当识别单元420识别出人像区域所在人物对象的当前姿态与所述预设姿态相适配时，以待处理任务的方式推送所述待听写内容。

作为一种可选的实施方式，设置单元510还用于设置听写次数，即用户需要针对待听写内容重复听写该听写次数对应的次数。

进一步结合图5，该家教设备还包括：

匹配单元540，用于当识别单元420识别出人像区域所在人物对象的当前姿态与预设姿态相适配时，以及听写单元440以待处理任务的方式推送待听写内容之前，从家教设备预存的人像信息中匹配所述人物对象；以及，当匹配到所述人物对象时，获取所述人物对象的账号信息；

反馈单元550，用于在听写单元440在用户接受待处理任务时控制播放待听写内容，以辅助用户完成对待听写内容的听写之后，获取用户完成待听写内容所获得的听写得分；以及，将目标图片、听写得分以及账号信息发送给所述终端设备，以使该终端设备控制打开班级管理应用客户端并通过账号信息登录至班级管理应用客户端，以将目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

作为一种可选的实施方式，上述听写单元440还在反馈单元550获取用户完成该待听写内容所获得的听写得分之后，统计用户听写该待听写内容的次数，若该次数满足设置的听写次数时，则结束听写流程，若该次数未满足设置的听写次数时，执行控制播放待听写内容的步骤，以辅助用户再次完成对待听写内容的听写。

作为一种可选的实施方式，上述生成单元430用于根据文字信息生成待听写内容的方式具体为：

上述生成单元430，用于对文字信息进行单元划分，以获得至少一个文字单元，该文字单元为单字、词语、成语或句子；以及，对至少一个文字单元进行排序组合，以获得初始单元集合；以及，依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；以及，从语音库中提取语音模板；以及，基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

上述听写单元440用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

上述听写单元440，用于以待处理任务的方式推送语音单元集合，并在用户接受待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

通过上述实施方式，家教设备可以设置任意两个文字单元之间的听写间隔时长，以确保用户能够有足够时间完成听写，以实现较为灵活的听写辅助功能，帮助用户提高听写能力和掌握更多的生字词语。

实施例五

请参阅图6，图6为本发明又一实施例公开的家教设备的结构示意图；图6所示的家教设备可包括：至少一个处理器610，例如CPU，通信总线630用于实现这些组件之间的通信连接。存储器620可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器620可选的还可以是至少一个位于远离前述处理器610的存储装置。其中，处理器610可以结合图4至图5所描述的家教设备，存储器610中存储一组程序代码，且处理器610调用存储器620中存储的程序代码，用于执行以下操作：

获取目标图片，所述目标图片包含有用于提供给用户听写的内容信息；

通过图像识别技术识别所述目标图片中的所述内容信息，并从所述内容信息中提取出文字信息；

根据所述文字信息生成待听写内容；

以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

可选地，上述处理器610还执行以下步骤：

检测家教设备接收到的听写任务通知，所述听写任务通知由与所述家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

进而，在根据所述文字信息生成待听写内容之后，根据所述听写时间设置所述待听写内容的推送时间点；

检测当前时间点是否满足所述推送时间点；

当所述当前时间点满足所述推送时间点时，控制所述家教设备内置的摄像头拍摄所述家教设备屏幕前方以获得拍摄图像；

通过图像识别技术检测是否从所述拍摄图像中提取到人像区域；

当检测到所述人像区域时，识别所述人像区域所在人物对象的当前姿态是否与预设姿态相适配；

当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，执行所述以待处理任务的方式推送所述待听写内容的步骤。

可选地，上述处理器610还执行以下步骤：

当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，以及所述以待处理任务的方式推送所述待听写内容之前，从所述家教设备预存的人像信息中匹配所述人物对象；当匹配到所述人物对象时，获取所述人物对象的账号信息；

进而，在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写之后，获取用户完成所述待听写内容所获得的听写得分；

将所述目标图片、所述听写得分以及所述账号信息发送给所述终端设备，以使所述终端设备控制打开班级管理应用客户端并通过所述账号信息登录至所述班级管理应用客户端，以将所述目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

可选地，上述处理器610还执行以下步骤：

对所述文字信息进行单元划分，以获得至少一个文字单元，所述文字单元为单字、词语、成语或句子；

对所述至少一个文字单元进行排序组合，以获得初始单元集合；

依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；

从语音库中提取语音模板；

基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

以待处理任务的方式推送所述语音单元集合，并在用户接受所述待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

可选地，上述处理器610还执行以下步骤：

弹出任务推送窗口，所述任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，所述提示信息用户提示用户需要完成所述待处理任务推送的所述待听写内容；

检测用户对所述任务推送窗口上的所述听写确认按钮的触压操作；

判断所述触压操作对应的触压压力值是否大于或等于预设压力值；

当所述触压压力值大于或者等于所述预设压力值，确定用户接受所述待处理任务，控制开始播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行图1至图3公开的一种基于图像识别的听写辅助方法。

本发明实施例还公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图1至图3公开的任意一种方法的部分或全部步骤。

本发明实施例还公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图1至图3公开的任意一种方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于图像识别的听写辅助方法及家教设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于图像识别的听写辅助方法，其特征在于，包括：

获取目标图片，所述目标图片包含有用于提供给用户听写的内容信息；

通过图像识别技术识别所述目标图片中的所述内容信息，并从所述内容信息中提取出文字信息；

根据所述文字信息生成待听写内容；

以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

2.根据权利要求1所述的方法，其特征在于，所述获取目标图片包括：

检测家教设备接收到的听写任务通知，所述听写任务通知由与所述家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

所述根据所述文字信息生成待听写内容之后，所述方法还包括：

根据所述听写时间设置所述待听写内容的推送时间点；

检测当前时间点是否满足所述推送时间点；

当所述当前时间点满足所述推送时间点时，控制所述家教设备内置的摄像头拍摄所述家教设备屏幕前方以获得拍摄图像；

通过图像识别技术检测是否从所述拍摄图像中提取到人像区域；

当检测到所述人像区域时，识别所述人像区域所在人物对象的当前姿态是否与预设姿态相适配；

当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，执行所述以待处理任务的方式推送所述待听写内容的步骤。

3.根据权利要求2所述的方法，其特征在于，当所述人像区域所在人物对象的当前姿态与所述预设姿态相适配，以及所述以待处理任务的方式推送所述待听写内容之前，所述方法还包括：

从所述家教设备预存的人像信息中匹配所述人物对象；

当匹配到所述人物对象时，获取所述人物对象的账号信息；

所述在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写之后，所述方法还包括：

获取用户完成所述待听写内容所获得的听写得分；

将所述目标图片、所述听写得分以及所述账号信息发送给所述终端设备，以使所述终端设备控制打开班级管理应用客户端并通过所述账号信息登录至所述班级管理应用客户端，以将所述目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述文字信息生成待听写内容包括：

对所述文字信息进行单元划分，以获得至少一个文字单元，所述文字单元为单字、词语、成语或句子；

对所述至少一个文字单元进行排序组合，以获得初始单元集合；

依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；

从语音库中提取语音模板；

基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

所述以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写，包括：

以待处理任务的方式推送所述语音单元集合，并在用户接受所述待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

5.根据权利要求1所述的方法，其特征在于，所述以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写，包括：

弹出任务推送窗口，所述任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，所述提示信息用户提示用户需要完成所述待处理任务推送的所述待听写内容；

检测用户对所述任务推送窗口上的所述听写确认按钮的触压操作；

判断所述触压操作对应的触压压力值是否大于或等于预设压力值；

当所述触压压力值大于或者等于所述预设压力值，确定用户接受所述待处理任务，控制开始播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

6.一种家教设备，其特征在于，包括：

获取单元，用于获取目标图片，所述目标图片包含有用于提供给用户听写的内容信息；

识别单元，用于通过图像识别技术识别所述目标图片中的所述内容信息，并从所述内容信息中提取出文字信息；

生成单元，用于根据所述文字信息生成待听写内容；

听写单元，用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。

7.根据权利要求6所述的家教设备，其特征在于，所述获取单元用于获取目标图片的方式具体为：

所述获取单元，用于检测所述家教设备接收到的听写任务通知，所述听写任务通知由与所述家教设备绑定的终端设备发送且至少包括目标图片及听写时间；

所述家教设备还包括：

设置单元，用于在所述生成单元根据所述文字信息生成待听写内容之后，根据所述听写时间设置所述待听写内容的推送时间点；

检测单元，用于检测当前时间点是否满足所述推送时间点；

拍摄单元，用于当所述检测单元检测到所述当前时间点满足所述推送时间点时，控制所述家教设备内置的摄像头拍摄所述家教设备屏幕前方以获得拍摄图像；

所述识别单元，还用于通过图像识别技术检测是否从所述拍摄图像中提取到人像区域；以及，当检测到所述人像区域时，识别所述人像区域所在人物对象的当前姿态是否与预设姿态相适配；

所述听写单元用于以待处理任务的方式推送所述待听写内容的方式具体为：

所述听写单元，用于当所述识别单元识别出所述人像区域所在人物对象的当前姿态与所述预设姿态相适配时，以待处理任务的方式推送所述待听写内容。

8.根据权利要求7所述的家教设备，其特征在于，所述家教设备还包括：

匹配单元，用于当所述识别单元识别出所述人像区域所在人物对象的当前姿态与所述预设姿态相适配时，以及所述听写单元以待处理任务的方式推送所述待听写内容之前，从所述家教设备预存的人像信息中匹配所述人物对象；以及，当匹配到所述人物对象时，获取所述人物对象的账号信息；

反馈单元，用于在所述听写单元在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写之后，获取用户完成所述待听写内容所获得的听写得分；以及，将所述目标图片、所述听写得分以及所述账号信息发送给所述终端设备，以使所述终端设备控制打开班级管理应用客户端并通过所述账号信息登录至所述班级管理应用客户端，以将所述目标图片与所述听写得分关联记录至所述班级管理应用客户端上。

9.根据权利要求6至8任一项所述的家教设备，其特征在于，所述生成单元用于根据所述文字信息生成待听写内容的方式具体为：

所述生成单元，用于对所述文字信息进行单元划分，以获得至少一个文字单元，所述文字单元为单字、词语、成语或句子；以及，对所述至少一个文字单元进行排序组合，以获得初始单元集合；以及，依次标记所述初始单元集合中相邻两个所述文字单元之间的听写间隔时长，以获得中间单元集合；其中，所述听写间隔时长以相邻两个所述文字单元中的在前文字单元的字数为依据进行设置；以及，从语音库中提取语音模板；以及，基于所述语音模板依次将所述中间单元集合中的所述文字单元转换成听写语音单元，以获得语音单元集合，并根据所述听写间隔时长对所述语音单元集合中的相邻两个所述听写语音单元进行对应标记；

所述听写单元用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

所述听写单元，用于以待处理任务的方式推送所述语音单元集合，并在用户接受所述待处理任务时基于所述听写间隔时长控制播放所述语音单元集合中的所述听写语音单元，以辅助用户完成对所述语音单元集合的听写。

10.根据权利要求6所述的家教设备，其特征在于，所述听写单元用于以待处理任务的方式推送所述待听写内容，并在用户接受所述待处理任务时控制播放所述待听写内容，以辅助用户完成对所述待听写内容的听写的方式具体为：

所述听写单元，用于弹出任务推送窗口，所述任务推送窗口显示有待处理任务的提示信息、听写确认按钮及听写拒绝按钮，所述提示信息用户提示用户需要完成所述待处理任务推送的所述待听写内容；以及，检测用户对所述任务推送窗口上的所述听写确认按钮的触压操作；以及，判断所述触压操作对应的触压压力值是否大于或等于预设压力值；以及，当所述触压压力值大于或者等于所述预设压力值，确定用户接受所述待处理任务，控制开始播放所述待听写内容，以辅助用户完成对所述待听写内容的听写。