CN111967328A - 辅导作业的方法、智能绘本机器人和服务器 - Google Patents

Abstract

本发明提供了一种辅导作业的方法、智能绘本机器人和服务器，其中方法包括：一种辅导作业的方法，包括：获取绘本的图片信息；根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；判断用于执行作业辅导提示的提示指令是否被触发；若是，则根据所述参考数据发出对应的提示。本发明的有益效果：通过获取绘本的图片信息，可以根据图片信息获取图片中绘本对应的参考数据，然后根据解题步骤和/或参考答案对小孩进行辅导，从而达到智能辅导小孩的效果。解决了父母不在旁边小孩作业没人辅导的问题。

Description

辅导作业的方法、智能绘本机器人和服务器

技术领域

本发明涉及智能设备领域，特别涉及一种辅导作业的方法、智能绘本机器人和服务器。

背景技术

现代社会生活节奏快，压力大，工作时间长。父母陪伴小孩的时间不足，陪伴孩子读书的时间更是有限。随着科技的创新和发展，出现了智能绘本阅读机器人，可以辅助父母语音阅读书籍。但是现有绘本机器人产品，只提供单一的帮小孩语音阅读书中内容。只在小孩阅读方面提供帮助，功能过于单一，不能在小孩辅导作业方面提供帮助,例如，父母不在家，小孩作业无人辅导，也不能知道小孩作业进展情况。因此亟需一种辅导小孩作业的方法。

发明内容

本发明的主要目的为提供一种辅导作业的方法，旨在解决现有的智能绘本阅读机器人不能辅导小孩作业的问题。

本发明提供了一种辅导作业的方法，包括：

获取绘本的图片信息；

根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

判断用于执行作业辅导提示的提示指令是否被触发；

若是，则根据所述参考数据发出对应的提示。

进一步地，所述判断用于执行作业辅导提示的提示指令是否被触发的步骤，包括：

获取用户的行为信息，其中所述行为信息包括面部表情、体态信息和处理当前题目的实时时长中的一种或多种；

根据所述行为信息判断提示指令是否被触发。

进一步地，所述根据所述图片信息获取所述绘本对应的参考数据的步骤，包括：

将所述图片信息上传至服务器；

接收所述服务器发送的关于所述绘本上的第一类型题目的参考信息，其中，所述参考数据包括一道或者多道题的参考信息，所述第一类型题目为所述服务器在指定数据库中预存的题目。

进一步地，所述将所述图片信息上传至服务器的步骤之后，还包括：

接收所述服务器发送的所述第一类型题目的难度信息；

根据各所述第一类型题目的难度信息估测所述绘本所需的处理时间；

经过所述处理时间后，判断所述绘本是否被处理完毕；

若否，则发出注意时间的提示。

进一步地，所述根据所述参考数据发出对应的提示的步骤，包括：

判断所述参考数据中是否具有当前计算题目的参考信息；

若否，则判定所述当前计算题目为第二类型题目，并将所述当前计算题目发送给第三方终端，其中所述第二类型题目为所述服务器在指定数据库中没有预存的题目；

接收所述第三方终端发送的关于所述当前计算题目的参考信息。

进一步地，所述接收所述第三方终端发送的关于所述第二类型题目的参考信息的步骤之后，还包括：

提取所述第二类型题目的参考信息中的文字信息；

将所述文字信息转化为语音提示信息；

当所述提示指令被触发时，则根据所述语音提示信息发出提示。

进一步地，所述参考信息包括解题步骤，所述根据所述参考数据发出对应的提示的步骤，包括：

根据所述解题步骤生成多步语音提示，其中多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示；

按照所述多步语音提示的顺序依次发出提示。

进一步地，所述参考数据包括参考答案，所述判断提示指令是否被触发的步骤，包括：

识别所述绘本中的已完成题目，并获取所述已完成题目所对应的计算结果；

将所述计算结果与参考答案进行比较；

若计算结果与所述参考答案不符，则判断提示指令被触发。

本发明还提供了一种智能绘本机器人，包括：

图片信息获取模块，用于获取绘本的图片信息；

参考信息获取模块，用于根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

提示指令判断模块，用于判断用于执行作业辅导提示的提示指令是否被触发；

提示发出模块，用于所述提示指令被触发时，则根据所述参考数据发出对应的提示。

本发明还提供了一种服务器，包括：

获取上述所述的智能绘本机器人中所述图片信息获取模块获取的图片信息；

根据所述图片信息在指定数据库中搜寻对应的参考数据；

将所述参考数据发送至所述智能绘本机器人。

本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

本发明还提供了一种计算机设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法的步骤。

本发明的有益效果：通过获取绘本的图片信息，可以根据图片信息获取图片中绘本对应的参考数据，然后根据解题步骤和/或参考答案对小孩进行辅导，从而达到智能辅导小孩的效果。解决了父母不在旁边小孩作业没人辅导的问题。

附图说明

图1是本发明一实施例的一种辅导作业的方法的流程示意图；

图2是本发明一实施例的一种智能绘本机器人的结构框图；

图3是本发明一实施例的一种服务器的流程示意图；

图4为本发明的存储介质一实施例的结构框图；

图5为本发明的计算机设备一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参照图1，本发明提出一种辅导作业的方法，包括：

S1：获取绘本的图片信息；

S2：根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

S3：判断用于执行作业辅导提示的提示指令是否被触发；

S4：若是，则根据所述参考数据发出对应的提示。

如上述步骤S1所述，获取绘本的图片信息，该图片信息中包括了绘本中的题目信息，获取图片信息的方式可以是通过智能绘本机器人上的摄像头实时拍摄得到，在实际的拍摄过程中会获取多张图片(例如为每隔5s拍摄一次)，为了避免对每张图片都进行识别，可以采用预设的图片相似度判断方法，判断所述指定图片与智能绘本机器人前一次获取的图片是否相似。图片相似度判断方法具体为：依次对比两张图片中对应的像素点，若相同的像素点的数量在所有像素点数量中的占比大于预定阈值，则判定相似；若相同的像素点的数量在所有像素点数量中的占比不大于预定阈值，则判定不相似。若所述指定图片与所述指定终端前一次获取的图片相似，表明所述指定图片已经过识别处理，从而只需将上次的识别结果调出即可，无需再次执行识别操作。

如上述步骤S2所述，根据图片信息可以获取绘本对应的参考数据，该参考数据可以是从智能绘本机器人预存在自身的数据库中得到，也可以将图片信息传递至对应的服务器，通过服务器的数据库得到。具体地，分析图片信息并识别绘本中的作业内容，该作业内容包括题目数量和各题目信息，该分析过程可以在智能绘本机器人中进行，也可以将图片信息传递至服务器中，由服务器进行分析提取。然后再根据提取的内容在自身的数据库中或者在服务器的数据库中搜寻参考数据。参考数据包括解题步骤和/或参考答案，优选解题步骤和参考答案都包括，以使后续提示更加丰富，对小孩可以起到一个良好的辅导作用。需要说明的是，解题步骤为解答题目的步骤，而参考答案为该题的最终结果。其中，识别绘本中的作业内容可以通过预设的文字识别技术进行识别，预设的文字识别技术可以为OCR(Optical Character Recognition，光学字符识别)技术，可以将图像的像素点分为黑色和白色两部分，黑色的视为前景信息，白色的则视为背景信息，以处理掉原始图像除目标文字外的其他物体、背景等；降噪：采用中值滤波、均值滤波、自适应维纳滤波等进行滤波，以处理图像采集、压缩、传输等过程中导致的图像噪声；倾斜矫正：采用霍夫变换等方法处理图像，以矫正拍照等导致的图像倾斜。文字分割：采用投影运算进行文字切分，将单行文字或者多行文字投影到X轴上，并将值累加，文字的区域必定值比较大，间隔区域必定没有值，再考虑间隔的合理性，以此分割出单个文字。分类：采用SVM(Support Vector Machine，采用支持向量机)分类器进行分类，得到初识别结果；处理结果：采用NLP(Natural LanguageProcessing，自然语言处理)方法对初识别结果处理优化后输出，以排除部分误识别到的与正确文字形近的但与上下文无关的文字。

如上述步骤S3所述，判断提示指令是否被触发，当小孩碰到问题后，根据提示指令是否被触发对小孩进行辅导，触发的条件可以是接收外部输入的提示指令(例如小孩按下对应的提示按钮)，或者是接收到一些指定的语音命令，如“我需要帮助”，“这道题不会”，“XX题不会”等类似的语音命令，还可以是识别小孩的行为信息，如“小孩的面部表情”，“当前题目的处理时长”，“体态信息”等，具体的识别操作后续会进行说明，此处不再赘述。

如上述步骤S4所述，若提示指令被触发，则可以继续判断获取到的参考数据中是否具有当前题目的参考信息，若有则可以根据参考信息对小孩进行辅导，若没有，则不辅导小孩该题目，或者将该题的信息发送给对应连接的第三方终端(可以是小孩父母或者老师等辅导人员的手机或者电脑等终端)，该第三方终端与该智能绘本机器人数据连接，第三方终端将该没有参考信息的题目显示，然后获取由小孩父母或者老师等辅导人员针对该题目输入对应的参考信息，输入的方式可以是语音输入或者文字输入。若参考数据中有当前计算题目的参考信息，则可以依据该参考信息发出提示，提示的内容可以直接是参考答案，当然，为了更好的辅导小孩，可以根据解题步骤分为多步提示，根据依次提醒的方式对小孩进行提示。需要说明的是，判断当前题目的方式可以是，检测小孩正在作答的答题区域所对应的题目，将该题目记为当前题目，其中答题区域可以根据符号进行确定，也可以根据题目对应的空白处进行确定，具体地，若为填空选择题，则会在相应的答题区域中有“()”“”等符号，此时可以检测该区域内是否有作答的痕迹，若没有，则根据没有作答痕迹的先后顺序的题目，将最前的题目作为当前题目；若为问答题，则可以根据小孩的作答区域，将对应的题目记为当前题目。

本实施例中，上述步骤S3，包括：

S301：获取用户的行为信息，其中所述行为信息包括面部表情、体态信息和处理当前题目的实时时长中的一种或者多种；

S302：根据所述行为信息判断提示指令是否被触发。

如上述步骤S301-S302所述，获取用户(一般为小孩)的行为信息，获取的方式可以是通过摄像头，或者还通过计时器进行获取。具体地，当行为信息为面部表情时，通过摄像头拍摄用户的面部，以获取对应的图片，然后通过人脸识别技术识别图片中用户的面部表情，当识别到的用户表情为眉头紧锁，可以判定为用户碰到了问题，需要进行提示。当行为信息为体态信息时，例如用户是否有托着头，挠头等体态信息，若有，则可以判定为用户碰到了问题，需要进行提示。当行为信息为处理当前题目的实时时长时，即判断当前的题目的处理时长是否超过了第一设定时长，若超出了，则判定为用户碰到了问题，需要进行提示。在一些实施例中，也可以是判断用户未在绘本上书写内容的实时时长是否超过了第二设定时长，若超出了，则判定为可以判定为用户碰到了问题，需要进行提示。更进一步地，也可以综合面部表情、体态信息和处理当前题目的实时时长中的两个或者三个判断条件进行综合判定，例如综合三个判断条件进行判断时，可以赋予每个判断条件不同的权重占比，例如当体态信息和/或面部表情占比较高，而处理当前题目的实时时长占比较低时，即使超出了设定时长(第一设定时长或者第二设定时长)，但是体态信息和/或面部表情判断为正常，因此可以综合判断为用户没有碰到问题。当然在一些实施例中，还可以设置处理当前题目的实时时长的权重占比大，而体态信息和/或面部表情占比小，然后综合进行计算综合特征值，然后与预设的综合特征值进行比较，以判断小孩是否需要帮助。具体地，可以通过公式，

TDavg＝TD1×w1+TD2×w2+TD3×w3

其中，TDavg表示综合特征值；TD1表示面部表情的特征值，该特征值可以根据眉头的紧锁程度计算得到；TD2表示体态信息的特征值，该特征值可以根据用户的坐姿计算得到(一般而言，会做的题目信心会足一点，因此坐姿也会端正一点，而不会做的题目信心会差一点，坐姿会差一点)，TD3表示理当前题目的实时时长的特征值，该特征值可以根据时间长短计算得到。而w1、w2、w3分别代表介于0～1之间的第一权重、第二权重和第三权重，其中w1+w2+w3＝1。然后将计算得到的综合特征值TDavg与预设的综合特征值进行比较，当大于预设的综合特征值时，即判断为用户碰到了困难，此时确定提示指令被触发，需要对用户进行提示。在一个较佳的实施例中，在计算得到的综合特征值大于预设的综合特征值时，还可以发出语音询问用户是否需要帮助，当得到肯定回答时，才确定提示指令被触发，对用户进行提示，否则，不需要对用户提示。

本实施例中，上述步骤S2，包括：

S201：将所述图片信息上传至服务器；

S202：接收所述服务器发送的关于所述绘本上的第一类型题目的参考信息，其中，所述参考数据包括一道或者多道题的参考信息，所述第一类型题目为所述服务器在指定数据库中预存的题目。

如上述步骤S201-S202所述，可以将图片信息上传至服务器，在服务器中的数据库或者联网搜寻对应的参考数据，应当理解的是，相对于在智能绘本机器人端的数据库，服务器端的数据库中的数据会更多，容纳空间会更大，而且可以减小智能绘本机器人的制作成本，智能绘本只需将拍摄好的图片信息上传至服务器端，服务器端接收到图片信息之后对图片信息进行识别，识别题目总数和题目内容，然后根据题目内容查找对应的参考信息，由于可能存在查不到对应题目的参考信息，故而将该类型题目划分为第二类型题目，将可以查到对应题目的参考信息划分为第一类型题目，然后服务器将第一类型题目的参考信息整合成参考数据发送给智能绘本机器人，具体地，将第一类型题目的参考信息与其在绘本上的题目一一进行对应，整合成参考数据发送给智能绘本机器人。其中，识别题目总数，可以统计待完成的题目数量，对完成时间进行估测。

本实施例中，上述步骤S201之后，还包括：

S2021：接收所述服务器发送的所述第一类型题目的难度信息；

S2022：根据各所述第一类型题目的难度信息估测所述绘本所需的处理时间；

S2023：经过所述处理时间后，判断所述绘本是否被处理完毕；

S2024：若否，则发出注意时间的提示。

如上述步骤S2021-S2024所述，为了更好的督促小孩，可以获取题目的难度信息，然后根据难度信息估测出小孩所需的处理时间，估测的方式可以是通过大数据进行估测，即服务器中存在每道第一类型题目的处理时间，或者是根据难度信息中的难度等级计算对应的处理时间，当超出该处理时间后，可以判断绘本是否被处理完毕，若没有处理完毕，则可以发出注意时间的提示，督促小孩尽快完成作业，可以改善小孩的拖延症，养成及时完成作业的习惯。

本实施例中，上述步骤S4，还包括：

S401：判断所述参考数据中是否具有当前计算题目的参考信息；

S402：若否，则判定所述当前计算题目为第二类型题目，并将所述当前计算题目发送给第三方终端，其中所述第二类型题目为所述服务器在指定数据库中没有预存的题目；

S403：接收所述第三方终端发送的关于所述当前计算题目的参考信息。

如上述步骤S401-S403所述，判断所述参考数据中是否具有当前计算题目的参考信息，若有则可以根据参考数据中的参考信息进行提示，若参考数据中没有当前计算题目的参考信息，则可以将当前计算题目发送给数据连接的第三方终端，第三方终端为辅导人员的终端，可以是手机、电脑等终端，然后辅导人员在获知了该第二类型题目没有相关的参考答案时，且用户在计算该题具有疑问时，可以通过在第三方终端中输入当前计算题目(第二类型题目)的参考信息，然后发送给智能绘本机器人，输入的方式可以是语音输入，也可以是文字输入，当为语音输入时，智能绘本机器人可以将该语音转换成文字信息，然后再将文字信息转换为语音提示对小孩进行提醒，也可以直接建立智能绘本机器人与第三方终端的通话连接，由辅导人员语音进行辅导。其中，第三方终端与智能绘本机器人数据连接之后，还可以在第三方终端处通过智能绘本机器人的摄像头获取对应的图片或视频信息，以便于辅导人员实时查看用户的完成情况。

本实施例中，上述步骤S503之后，还包括：

S504：提取所述第二类型题目的参考信息中的文字信息；

S505：将所述文字信息转化为语音提示信息；

S506：当所述提示指令被触发时，则根据所述语音提示信息发出提示。

如上述步骤S504-S506所述，由于用户可能输入了文字信息，或者输入了语音信息，但是通过后台将语音信息转换为文字信息，此时可以获取参考信息中的文字信息并转换为对应的语音提示信息，当用户需要帮助时，则根据该语提示音信息进行提示，其中语音提示信息为根据解题步骤以及参考答案形成的语音提示信息。

本实施例中，所述参考信息包括解题步骤，上述步骤S4，包括：

S411：根据所述解题步骤生成多步语音提示，其中多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示；

S412：按照所述多步语音提示的顺序依次发出提示。

如上述步骤S411-S412所述，可以根据解题步骤生成多步语音提示，其中，多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示，递进的语音提示表示对用户披露的解题步骤越来越多或者越来越关键的提示。然后根据多步语音提示的顺序依次发出提示，从而达到逐渐引导用户计算，更好的辅导用户的技术效果。

本实施例中，上述步骤S412，包括：

S4121：发出当前提示后，检测所述提示指令是否又被触发；

S4122：若是，则发出下一次提示。

如上述步骤S4121-S4122所述，由于多步语音提示包括了多条递进的语音提示，故在发出了当前提示之后，判断提示指令是否又被触发，若有，则发出下一次提示，逐渐引导用户进行解题。需要说明的是，再次触发提示指令的条件可以与第一次触发提示指令的条件相同，也可以不同，一般而言，再次触发提示的满足条件难度应当要小于上一次触发的满足条件，例如，第一次触发提示的满足条件为小孩未作答的时长达到5min，则触发下一次提示的满足条件就可以设置为小孩未作答的时长达到3min。

本实施例中，所述参考数据包括参考答案，上述步骤S3，包括：

S311：识别所述绘本中的已完成题目，并获取所述已完成题目所对应的计算结果；

S312：将所述计算结果与参考答案进行比较；

S313：若计算结果与所述参考答案不符，则判断提示指令被触发。

如上述步骤S311-S313所述，由于存在用户可能会解对应题目，但是计算的结果有误的情况，因此可以通过摄像头获取已经在作答区域作答的绘本图片，获取的方式可以是将图片与之前的图片进行比较，检测作答区域中是否有作答痕迹，然后在确定出具有作答痕迹的作答区域中，识别该题的计算结果，若计算结果正确，则不触发提示指令，若计算结果与参考答案不符，则可以判断为提示指令被触发，提示用户错误的题目，使用户对题目进行更正。

参照图2，本发明还提供了一种智能绘本机器人，包括：

图片信息获取模块10，用于获取绘本的图片信息；

参考信息获取模块20，用于根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

提示指令判断模块30，用于判断用于执行作业辅导提示的提示指令是否被触发；

提示发出模块40，用于所述提示指令被触发时，则根据所述参考数据发出对应的提示。

通过图片信息获取模块10获取绘本的图片信息，该图片信息中包括了绘本中的题目信息，获取图片图片信息的方式可以是通过智能绘本机器人上的摄像头实时拍摄得到，在实际的拍摄过程中会获取多张图片(例如为每隔5s拍摄一次)，为了避免对每张图片都进行识别，可以采用预设的图片相似度判断方法，判断所述指定图片与智能绘本机器人前一次获取的图片是否相似。图片相似度判断方法具体为：依次对比两张图片中对应的像素点，若相同的像素点的数量在所有像素点数量中的占比大于预定阈值，则判定相似；若相同的像素点的数量在所有像素点数量中的占比不大于预定阈值，则判定不相似。若所述指定图片与所述指定终端前一次获取的图片相似，表明所述指定图片已经过识别处理，从而只需将上次的识别结果调出即可，无需再次执行识别操作。

参考信息获取模块20根据图片信息可以获取绘本对应的参考数据，该参考数据可以是从智能绘本机器人预存在自身的数据库中得到，也可以将图片信息传递至对应的服务器，通过服务器的数据库得到。具体地，分析图片信息并识别绘本中的作业内容，该作业内容包括题目数量和各题目信息，该分析过程可以在智能绘本机器人中进行，也可以将图片信息传递至服务器中，由服务器进行分析提取。然后再根据提取的内容在自身的数据库中或者在服务器的数据库中搜寻参考数据。参考数据包括解题步骤和/或参考答案，优选解题步骤和参考答案都包括，以使后续提示更加丰富，对小孩可以起到一个良好的辅导作用。需要说明的是，解题步骤为解答题目的步骤，而参考答案为该题的最终结果。其中，识别绘本中的作业内容可以通过预设的文字识别技术进行识别，预设的文字识别技术可以为OCR(Optical Character Recognition，光学字符识别)技术，可以将图像的像素点分为黑色和白色两部分，黑色的视为前景信息，白色的则视为背景信息，以处理掉原始图像除目标文字外的其他物体、背景等；降噪：采用中值滤波、均值滤波、自适应维纳滤波等进行滤波，以处理图像采集、压缩、传输等过程中导致的图像噪声；倾斜矫正：采用霍夫变换等方法处理图像，以矫正拍照等导致的图像倾斜。文字分割：采用投影运算进行文字切分，将单行文字或者多行文字投影到X轴上，并将值累加，文字的区域必定值比较大，间隔区域必定没有值，再考虑间隔的合理性，以此分割出单个文字。分类：采用SVM(Support Vector Machine，采用支持向量机)分类器进行分类，得到初识别结果；处理结果：采用NLP(Natural LanguageProcessing，自然语言处理)方法对初识别结果处理优化后输出，以排除部分误识别到的与正确文字形近的但与上下文无关的文字。

通过提示指令判断模块30判断提示指令是否被触发，当小孩碰到问题后，根据提示指令是否被触发对小孩进行辅导，触发的条件可以是接收外部输入的提示指令(例如小孩按下对应的提示按钮)，或者是接收到一些指定的语音命令，如“我需要帮助”，“这道题不会”，“XX题不会”等类似的语音命令，还可以是识别小孩的行为信息，如“小孩的面部表情”，“当前题目的处理时长”，“体态信息”等，具体的识别操作后续会进行说明，此处不再赘述。

提示发出模块40，若提示指令被触发，则需要考虑是否有该题目的参考信息，则可以继续判断获取到的参考数据中是否具有当前题目的参考信息，若有则可以根据参考信息对小孩进行辅导，若没有，则不辅导小孩该题目，或者将该题的信息发送给对应连接的第三方终端(可以是小孩父母或者老师等辅导人员的手机或者电脑等终端)，该第三方终端与该智能绘本机器人数据连接，第三方终端将该没有参考信息的题目显示，然后获取由小孩父母或者老师等辅导人员针对该题目输入对应的参考信息，输入的方式可以是语音输入或者文字输入。若参考数据中有当前计算题目的参考信息，则可以依据该参考信息发出提示，提示的内容可以直接是参考答案，当然，为了更好的辅导小孩，可以根据解题步骤分为多步提示，根据依次提醒的方式对小孩进行提示。需要说明的是，判断当前题目的方式可以是，检测小孩正在作答的答题区域所对应的题目，将该题目记为当前题目，其中答题区域可以根据符号进行确定，也可以根据题目对应的空白处进行确定，具体地，若为填空选择题，则会在相应的答题区域中有“()”“”等符号，此时可以检测该区域内是否有作答的痕迹，若没有，则根据没有作答痕迹的先后顺序的题目，将最前的题目作为当前题目；若为问答题，则可以根据小孩的作答区域，将对应的题目记为当前题目。

本实施例中，提示指令判断模块30，包括：

行为信息获取子模块，获取用户的行为信息，其中所述行为信息包括面部表情、体态信息和处理当前题目的实时时长中的一种或者多种；

提示指令第一判断子模块，用于根据所述行为信息判断提示指令是否被触发。

获取用户(一般为小孩)的行为信息，获取的方式可以是通过摄像头，或者还通过计时器进行获取。具体地，当行为信息为面部表情时，通过摄像头拍摄用户的面部，以获取对应的图片，然后通过人脸识别技术识别图片中用户的面部表情，当识别到的用户表情为眉头紧锁，可以判定为用户碰到了问题，需要进行提示。当行为信息为体态信息时，例如用户是否有托着头，挠头等体态信息，若有，则可以判定为用户碰到了问题，需要进行提示。当行为信息为处理当前题目的实时时长时，即判断当前的题目的处理时长是否超过了第一设定时长，若超出了，则判定为可以判定为用户碰到了问题，需要进行提示。在一些实施例中，也可以是判断用户未在绘本上书写内容的实时时长是否超过了第二设定时长，若超出了，则判定为可以判定为用户碰到了问题，需要进行提示。更进一步地，也可以综合面部表情、体态信息和处理当前题目的实时时长中的两个或者三个判断条件进行综合判定，例如综合三个判断条件进行判断时，可以赋予每个判断条件不同的权重占比，例如当体态信息和/或面部表情占比较高，而处理当前题目的实时时长占比较低时，即使超出了设定时长(第一设定时长或者第二设定时长)，但是体态信息和/或面部表情判断为正常，因此可以综合判断为用户没有碰到问题。当然在一些实施例中，还可以设置处理当前题目的实时时长的权重占比大，而体态信息和/或面部表情占比小，然后综合进行计算综合特征值，然后与预设的综合特征值进行比较，以判断小孩是否需要帮助。具体地，可以通过公式，

TDavg＝TD1×w1+TD2×w2+TD3×w3

其中，TDavg表示综合特征值；TD1表示面部表情的特征值，该特征值可以根据眉头的紧锁程度计算得到；TD2表示体态信息的特征值，该特征值可以根据用户的坐姿计算得到(一般而言，会做的题目信心会足一点，因此坐姿也会端正一点，而不会做的题目信心会差一点，坐姿会差一点)，TD3表示理当前题目的实时时长的特征值，该特征值可以根据时间长短计算得到。而w1、w2、w3分别代表介于0～1之间的第一权重、第二权重和第三权重，其中w1+w2+w3＝1。然后将计算得到的综合特征值TDavg与预设的综合特征值进行比较，当大于预设的综合特征值时，即判断为用户碰到了困难，此时确定提示指令被触发，需要对用户进行提示(。在一个较佳的实施例中，在计算得到的综合特征值大于预设的综合特征值时，还可以发出语音询问用户是否需要帮助，当得到肯定回答时，才确定提示指令被触发，对用户进行提示，否则，不需要对用户提示。

本实施例中，参考信息获取模块20，包括：

上传子模块，用于将所述图片信息上传至服务器；

参考信息接收子模块，用于接收所述服务器发送的关于所述绘本上的第一类型题目的参考信息，其中，所述参考数据包括一道或者多道题的参考信息，所述第一类型题目为所述服务器在指定数据库中预存的题目。

可以将图片信息上传至服务器，在服务器中的数据库或者联网搜寻对应的参考数据，应当理解的是，相对于在智能绘本机器人端的数据库，服务器端的数据库中的数据会更多，容纳空间会更大，而且可以减小智能绘本机器人的制作成本，智能绘本只需将拍摄好的图片信息上传至服务器端，服务器端接收到图片信息之后对图片信息进行识别，识别题目总数和题目内容，然后根据题目内容查找对应的参考信息，由于可能存在查不到对应题目的参考信息，故而将该类型题目划分为第二类型题目，将可以查到对应题目的参考信息划分为第一类型题目，然后服务器将第一类型题目的参考信息整合成参考数据发送给智能绘本机器人，具体地，将第一类型题目的参考信息与其在绘本上的题目一一进行对应，整合成参考数据发送给智能绘本机器人。其中，识别题目总数，可以统计待完成的题目数量，对完成时间进行估测。

本实施例中，参考信息获取模块20，还包括：

难度信息接收子模块，用于接收所述服务器发送的所述第一类型题目的难度信息；

估测子模块，用于根据各所述第一类型题目的难度信息估测所述绘本所需的处理时间；

处理绘本判断子模块，用于经过所述处理时间后，判断所述绘本是否被处理完毕；

注意时间提示子模块，用于若否，则发出注意时间的提示。

为了更好的督促小孩，可以获取题目的难度信息，然后根据难度信息估测出小孩所需的处理时间，估测的方式可以是通过大数据进行估测，即服务器中存在每道第一类型题目的处理时间，或者是根据难度信息中的难度等级计算对应的处理时间，当超出该处理时间后，可以判断绘本是否被处理完毕，若没有处理完毕，则可以发出注意时间的提示，督促小孩尽快完成作业，可以改善小孩的拖延症，养成及时完成作业的习惯。

本实施例中，提示发出模块40，还包括：

参考信息判断子模块，用于判断所述参考数据中是否具有当前计算题目的参考信息；

发送子模块，用于若否，则判定所述当前计算题目为第二类型题目，并将所述当前计算题目发送给第三方终端，其中所述第二类型题目为所述服务器在指定数据库中没有预存的题目；

接收子模块，用于接收所述第三方终端发送的关于所述当前计算题目的参考信息。

判断所述参考数据中是否具有当前计算题目的参考信息，若有则可以根据参考数据中的参考信息进行提示，若参考数据中没有当前计算题目的参考信息，则可以将当前计算题目发送给数据连接的第三方终端，第三方终端为辅导人员的终端，可以是手机、电脑等终端，然后辅导人员在获知了该第二类型题目没有相关的参考答案时，且用户计算该题具有疑问时，可以通过在第三方终端中输入当前计算题目(第二类型题目的参考信息)，然后发送给智能绘本机器人，输入的方式可以是语音输入，也可以是文字输入，当为语音输入时，智能绘本机器人可以将该语音转换成文字信息，然后再将文字信息转换为语音提示对小孩进行提醒，也可以直接建立智能绘本机器人与第三方终端的通话连接，由辅导人员语音进行辅导。其中，第三方终端与智能绘本机器人数据连接之后，还可以在第三方终端处通过智能绘本机器人的摄像头获取对应的图片或视频信息，以便于辅导人员实时查看用户的完成情况。

本实施例中，提示发出模块40，还包括：

文字信息提取子模块，用于提取所述第二类型题目的参考信息中的文字信息；

转化子模块，用于将所述文字信息转化为语音提示信息；

提示发出子模块，用于当所述提示指令被触发时，则根据所述语音提示信息发出提示。

由于用户可能输入了文字信息，或者输入了语音信息，但是通过后台将语音信息转换为文字信息，此时可以获取参考信息中的文字信息并转换为对应的语音提示信息，当用户需要帮助时，则根据该语提示音信息进行提示，其中语音提示信息为根据解题步骤以及参考答案形成的语音提示信息。

本实施例中，所述参考信息包括解题步骤，提示发出模块40，包括：

多步语音提示生成子模块，用于根据所述解题步骤生成多步语音提示，其中多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示；

多步语音提示发出子模块，按照所述多步语音提示的顺序依次发出提示。

可以根据解题步骤生成多步语音提示，其中，多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示，递进的语音提示表示对用户披露的解题步骤越来越多或者越来越关键的提示。然后根据多步语音提示的顺序依次发出提示，从而达到逐渐引导用户计算，更好的辅导用户的技术效果。

本实施例中，多步语音提示发出子模块，包括：

提示指令再次触发单元，用于发出当前提示后，检测所述提示指令是否又被触发；

下一次提示发出单元，用于若是，则发出下一次提示。

由于多步语音提示包括了多条递进的语音提示，故在发出了当前提示之后，判断提示指令是否又被触发，若有，则发出下一次提示，逐渐引导用户进行解题。需要说明的是，再次触发提示指令的条件可以与第一次触发提示指令的条件相同，也可以不同，一般而言，再次触发提示的满足条件难度应当要小于上一次触发的满足条件，例如，第一次触发提示的满足条件为小孩未作答的时长达到5min，则触发下一次提示的满足条件就可以设置为小孩未作答的时长达到3min。

本实施例中，所述参考数据包括参考答案，提示指令判断模块30，包括：

计算结果识别子模块，用于识别所述绘本中的已完成题目，并获取所述已完成题目所对应的计算结果；

比较子模块，用于将所述计算结果与参考答案进行比较；

提示指令触发第二子模块，用于若计算结果与所述参考答案不符，则判断提示指令被触发。

由于存在用户可能会解对应题目，但是计算的结果有误的情况，因此可以通过摄像头获取已经在作答区域作答的绘本图片，获取的方式可以是将图片与之前的图片进行比较，检测作答区域中是否有作答痕迹，然后在确定出具有作答痕迹的作答区域中，识别该题的计算结果，若计算结果正确，则不触发提示指令，若计算结果与参考答案不符，则可以判断为提示指令被触发，提示用户错误的题目，使用户对题目进行更正。

参照图3，本发明还提供了一种服务器，包括：

S11：获取智能绘本机器人中图片信息获取模块获取的图片信息；

S12：根据所述图片信息在指定数据库中搜寻对应的参考数据；

S13：将所述参考数据发送至所述智能绘本机器人。

如步骤S11-S13所述，服务器可以根据智能绘本中发送的图片信息，其中，若图片信息为图片，则可以对图片进行识别，识别图中的题目总数和各题目的信息，若图片信息为题目总数和各题目的信息，则可以直接在数据库中搜寻各个题目的参考信息，并汇总为参考数据，然后将其按照题目与参考信息一一对应，然后发送给智能绘本机器人。

参考图4，本申请还提供了一种存储介质100，存储介质100中存储有计算机程序200，当其在计算机上运行时，使得计算机执行以上实施例所描述的辅导作业的方法。

参考图5，本申请还提供了一种包含上述存储介质100的计算机设备300，当上述存储介质100中存储的计算机程序200在计算机设备300上运行时，使得计算机设备300通过其内部设置的处理器400执行以上实施例所描述的辅导作业的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者从一个存储介质向另一存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种辅导作业的方法，其特征在于，包括：

获取绘本的图片信息；

根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

判断用于执行作业辅导提示的提示指令是否被触发；

若是，则根据所述参考数据发出对应的提示。

2.如权利要求1所述的辅导作业的方法，其特征在于，所述判断用于执行作业辅导提示的提示指令是否被触发的步骤，包括：

获取用户的行为信息，其中所述行为信息包括面部表情、体态信息和处理当前题目的实时时长中的一种或多种；

根据所述行为信息判断提示指令是否被触发。

3.如权利要求1所述的辅导作业的方法，其特征在于，所述根据所述图片信息获取所述绘本对应的参考数据的步骤，包括：

将所述图片信息上传至服务器；

接收所述服务器发送的关于所述绘本上的第一类型题目的参考信息，其中，所述参考数据包括一道或者多道题的参考信息，所述第一类型题目为所述服务器在指定数据库中预存的题目。

4.如权利要求3所述的辅导作业的方法，其特征在于，所述将所述图片信息上传至服务器的步骤之后，还包括：

接收所述服务器发送的所述第一类型题目的难度信息；

根据各所述第一类型题目的难度信息估测所述绘本所需的处理时间；

经过所述处理时间后，判断所述绘本是否被处理完毕；

若否，则发出注意时间的提示。

5.如权利要求1所述的辅导作业的方法，其特征在于，所述根据所述参考数据发出对应的提示的步骤，包括：

判断所述参考数据中是否具有当前计算题目的参考信息；

若否，则判定所述当前计算题目为第二类型题目，并将所述当前计算题目发送给第三方终端，其中所述第二类型题目为所述服务器在指定数据库中没有预存的题目；

接收所述第三方终端发送的关于所述当前计算题目的参考信息。

6.如权利要求1所述的辅导作业的方法，其特征在于，所述参考数据包括解题步骤，所述根据所述参考数据发出对应的提示的步骤，包括：

根据所述解题步骤生成多步语音提示，其中多步语音提示为按照解题步骤的先后顺序形成的多条递进的语音提示；

按照所述多步语音提示的顺序依次发出提示。

7.如权利要求1所述的辅导作业的方法，其特征在于，所述参考数据包括参考答案，所述判断提示指令是否被触发的步骤，包括：

识别所述绘本中的已完成题目，并获取所述已完成题目所对应的计算结果；

将所述计算结果与参考答案进行比较；

若计算结果与所述参考答案不符，则判断提示指令被触发。

8.一种智能绘本机器人，其特征在于，包括：

图片信息获取模块，用于获取绘本的图片信息；

参考信息获取模块，用于根据所述图片信息获取所述绘本对应的参考数据；其中，所述参考数据包括解题步骤和/或参考答案；

提示指令判断模块，用于判断用于执行作业辅导提示的提示指令是否被触发；

提示发出模块，用于所述提示指令被触发时，则根据所述参考数据发出对应的提示。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法的步骤。

Images