CN110767005A - 基于儿童专用智能设备的数据处理方法及系统 - Google Patents

Abstract

本发明提供的基于儿童专用智能设备的数据处理方法，其包含：接收用户的多模态输入数据；基于多模态输入数据确定教育交互模式，获取用户的教育基础信息，依据教育基础信息引导用户进行对应的教育内容学习过程；进入游戏交互模式，通过云端服务器输出与用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数；接收用户针对考核数据给出的多模态回答数据，传送至云端服务器进行处理，得到游戏结果数据；由游戏交互模式根据游戏结果数据，反馈游戏参数的正向数据，以对教育交互模式进行娱乐正反馈。本发明能够通过游戏的方式对用户学习到的知识进行考核，并在用户考核成功后反馈所述游戏参数的正向数据，提升了用户的使用体验。

Description

基于儿童专用智能设备的数据处理方法及系统

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于儿童专用智能设备的数据处理方法及系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，对于智能设备的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于智能设备的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他智能设备进行交互的设备，人机交互也就成为决定智能设备发展的重要因素。因此，提升智能设备的交互能力，改善智能设备的类人性和智能性，是现在亟需解决的重要问题。

因此，本发明提供了一种基于儿童专用智能设备的数据处理方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于儿童专用智能设备的数据处理方法，所述方法包含以下步骤：

接收用户的多模态输入数据；

基于所述多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据所述教育基础信息引导用户进行对应的教育内容学习过程；

进入游戏交互模式，通过云端服务器输出与所述用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数；

接收用户针对所述考核数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据；

由所述游戏交互模式根据所述游戏结果数据，反馈所述游戏参数的正向数据，以对所述教育交互模式进行正反馈。

根据本发明的一个实施例，依据所述教育基础信息引导用户进行对应的教育内容学习过程的步骤中，具体包含以下步骤：

通过所述云端服务器上的教育服务器返回对应于所述教育基础信息的提示语数据以及知识点数据；

所述儿童专用智能设备通过预设的界面展示所述知识点数据，并通过语音或文字的方式引导用户进行所述教育内容学习过程；

接收用户在所述教育内容学习过程中输出的多模态数据，并将所述多模态数据上传至云端服务器；

通过云端服务器对所述多模态数据进行评测，得到反映用户学习成果的评测结果数据，以完成所述教育内容学习过程。

根据本发明的一个实施例，所述方法还包含：当用户完成所述教育内容学习过程后，给予用户账户相应的虚拟奖励，所述虚拟奖励包含表征当前用户学习级别的游戏参数。

根据本发明的一个实施例，所述教育基础信息包含教育分类信息以及教育阶段信息。

根据本发明的一个实施例，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据的步骤中，具体包含以下步骤：

对所述多模态回答数据进行分析及判断，确定所述多模态回答数据是否与所述考核数据匹配；

若所述多模态回答数据与所述考核数据匹配，则增加所述游戏参数，当所述游戏参数大于第一阈值时，得到第一游戏结果数据；

若所述多模态回答数据与所述考核数据不匹配，则减少所述游戏参数，当所述游戏参数小于第二阈值时，得到第二游戏结果数据。

根据本发明的一个实施例，所述方法还包含：在家长端与用户账户进行绑定后，所述家长端具有对用户账户的教育内容学习过程、教育内容学习结果、游戏过程以及游戏结果进行调取与查看的权限。

根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上任一项所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于儿童专用智能设备的数据处理装置，所述装置包含：

第一模块，其用于接收用户的多模态输入数据；

第二模块，其用于基于所述多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据所述教育基础信息引导用户进行对应的教育内容学习过程；

第三模块，其用于进入游戏交互模式，通过云端服务器输出与所述用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数；

第四模块，其用于接收用户针对所述考核数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据；

第五模块，其用于由所述游戏交互模式根据所述游戏结果数据，反馈所述游戏参数的正向数据，以对所述教育交互模式进行正反馈。

根据本发明的另一个方面，还提供了一种儿童专用智能设备，所述儿童专用智能设备为儿童智能手表，用于执行如上任一项所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于儿童专用智能设备的数据处理系统，所述系统包含：

如上所述的儿童专用智能设备；

云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用智能设备输出多模态数据。

本发明提供的基于儿童专用智能设备的数据处理方法及系统提供了一种儿童专用智能设备，能够基于用户的教育基础信息引导用户进行对应的教育内容学习过程，在游戏交互模式下对用户在教育内容学习过程中学到的知识进行进一步的巩固。本发明能够通过游戏的方式对用户学习到的知识进行考核，并在用户考核成功后反馈所述游戏参数的正向数据，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法流程图；

图2显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法中进行教育内容学习过程的流程图；

图3显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法中得到游戏结果数据的流程图；

图4显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法中通过客户端进行交互的流程图；

图5显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理装置的模块框图；

图6显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理系统的结构框图；

图7显示了根据本发明的另一个实施例的基于儿童专用智能设备的数据处理系统的结构框图；

图8显示了根据本发明的另一个实施例的基于儿童专用智能设备的数据处理方法流程图；以及

图9显示了根据本发明的一个实施例的用户、儿童专用智能设备、云端以及家长端的四方数据流图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为表述清晰，需要在实施例前进行如下说明：

本发明提到的儿童专用智能设备支持多模态人机交互，具备自然语言理解、视觉感知、语言语音输出、情感表情动作输出等AI能力；所述儿童专用智能设备可特指儿童穿戴设备，其界面可通过IP形象与用户进行交互，该IP形象可配置社会属性、人格属性、人物技能等，使用户享受智能化及个性化流畅体验。在具体的实施例中，儿童专用智能设备可以是具备显示屏幕及触控交互方式的平板电脑、智能手机、智能电视、智能机器人、儿童手表等。

儿童专用智能设备获取用户的多模态数据，在云端的能力支持下，对多模态数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。

所提到的云端(云端服务器)为提供所述儿童专用智能设备对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述儿童专用智能设备输出多模态数据。

下面结合附图对本发明的各个实施例进行详细描述。

图1显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法流程图。

如图1，在步骤S101中，接收用户的多模态输入数据。

具体来说，儿童专用智能设备接收用户的多模态输入数据，儿童专用智能设备中设置有相应的接收装置，多模态输入数据包含语音数据、视频数据、触摸数据、视觉数据等。

另外，儿童专用智能设备可以包含屏幕上的触控交互，儿童专用智能设备可特指儿童穿戴设备，如儿童智能手表。

如图1，在步骤S102中，基于多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据教育基础信息引导用户进行对应的教育内容学习过程。

进一步地，教育基础信息包含教育分类信息以及教育阶段信息。例如：教育分类信息包含语文、数学、英语。教育阶段信息包含小学一年级上学期、小学一年级下学期等年级信息以及学期信息。

具体来说，教育基础信息可以通过用户输入来获取，也可以通过等级测试来确定，教育基础信息也可以包含除教育分类信息以及教育阶段信息外的其他信息，对于不同的教育交互模式下，不同的学习内容可选择不同的技能水平级别确定方式，如，在英语对话交互方式下，为了更为准确地获取当前用户已具备的口语能力，使得用户能够快速获取匹配的口语水平，本发明不对此作出限制。

具体来说，可以通过如图2所示的方法进行教育内容学习过程：

在步骤S201中，通过云端服务器上的教育服务器返回对应于教育基础信息的提示语数据以及知识点数据。具体来说，教育服务器会根据用户的教育基础信息，返回对应的知识点数据，例如：用户为小学三年级上学期时，会返回“下面学习一首诗词，名字叫做九月九日忆山东兄弟，内容是独在异乡为异客，每逢佳节倍思亲，遥知兄弟登高处，遍插茱萸少一人。”

在步骤S202中，儿童专用智能设备通过预设的界面展示所述知识点数据，并通过语音或文字的方式引导用户进行所述教育内容学习过程。具体来说，在儿童手表上，通过IP人物代表用户在游戏界面上过关的形式，通过相应的图片展示知识点数据，IP人物可以通过语音和文字的方式引导用户学习诗词，如答对评测题目，获得技能正向数据，如获得体力值或奖励分值，以进行下一个单元或更高阶的教育交互内容，极大地提升寓教于乐实现程度。

在步骤S203中，接收用户在教育内容学习过程中输出的多模态数据，并将多模态数据上传至云端服务器。具体来说，儿童专用智能设备在播放诗词音频时，用户可以跟随儿童专用智能设备一起朗读诗词内容，此时，儿童专用智能设备可以对用户朗读的诗词进行获取，上传至云端服务器。

在步骤S204中，通过云端服务器对多模态数据进行评测，得到反映用户学习成果的评测结果数据，以完成教育内容学习过程。具体来说，云端服务器可以根据用户的朗读过程，对用户的学习过程进行评测，确定用户是否能够正确跟读诗词内容，发音是否准确，断句是否合适，以评测用户的学习成果。另外，还可以在学习结束后进行随堂测验，检验用户的学习成果。

另外，当用户完成教育内容学习过程后，给予用户账户相应的虚拟奖励，虚拟奖励包含表征当前用户学习级别的游戏参数。具体来说，可以使用体力值来代表所述游戏参数，当用户完成一次教育内容学习过程后，用户账户中的体力值增加1点。

如图1，在步骤S103中，进入游戏交互模式，通过云端服务器输出与用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数。

具体来说，进入游戏交互模式需要消耗游戏参数，游戏参数可以通过用户完成教育内容学习过程来获取，也可以通过完成随堂测验来获取。此举是为了促进用户进行教育内容学习过程，在游戏的过程中巩固学习过的知识，在游戏中对教育进行正反馈。考核数据是与用户之前的教育内容学习过程相关的，例如：考核数据可以为“遥知兄弟登高处的下一句是什么？”。

如图1，在步骤S104中，接收用户针对考核数据给出的多模态回答数据，进一步将多模态回答数据传送至云端服务器进行处理，得到游戏结果数据。

具体来说，可以通过如图3所示的方法得到游戏结果数据：

在步骤S301中，对多模态回答数据进行分析及判断，确定多模态回答数据是否与考核数据匹配。具体来说，接收用户对于“遥知兄弟登高处的下一句是什么？”的回答数据，进行语音分析和中文识别，与正确答案“遍插茱萸少一人”进行对比，确定用户的回答数据是否与正确答案相同。

在步骤S302中，若多模态回答数据与考核数据匹配，则增加游戏参数，当游戏参数大于第一阈值时，得到第一游戏结果数据。具体来说，如果用户回答正确(例如：下一句是遍插茱萸少一人。)，则对用户进行奖励，奖励的方式可以是增加用户的游戏参数，即增加用户的体力值。当用户的体力值大于第一阈值(例如10个体力值)时，得到第一游戏结果数据(例如：用户通关成功，输出奖励画面，进入下一关卡。)。需要说明的是，所述游戏参数包括：用户回答正确后，云端服务器向所述儿童专用穿戴智能设备中客户端中，该用户账户增加可以用于后续测试的分值或体力值，以对所述用户当前答对题目的交互过程提供奖励，即正向的反馈，该正向反馈使得用户可以对后续的评测或交互活动起到激励促进作用。

在步骤S303中，若多模态回答数据与考核数据不匹配，则减少游戏参数，当游戏参数小于第二阈值时，得到第二游戏结果数据。具体来说，如果用户回答错误(例如：下一句我不记得了。)，则对用户进行惩罚，惩罚的方式可以是减少用户的游戏参数，即减少用户的体力值。当用户的体力值小于第一阈值(例如3个体力值)时，得到第二游戏结果数据(例如：用户通关失败，输出惩罚画面，本次闯关失败。)。

如图1，在步骤S105中，由游戏交互模式根据游戏结果数据，反馈所述游戏参数的正向数据，以对教育交互模式进行正反馈。

所述正向数据的叠加，反应出用户完全掌握当前教育内容学习内容，用户有资格及有相应的分值或体力值将可进入到更高阶的学习内容评测或互动中。

另外，在家长端与用户账户进行绑定后，家长端具有对用户账户的教育内容学习过程、教育内容学习结果、游戏过程以及游戏结果进行调取与查看的权限。

根据本发明的一个实施例，获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。本发明面向的用户群主要是儿童用户，因此需要确定用户的身份属性。判断用户身份的方式是有很多种，一般来说，可以通过面部识别功能或者指纹识别方式来辨别用户的身份。其他能够判断用户身份的方式也可以运用到本发明中来，本发明不对此做出限制。

图4显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理方法中通过客户端进行交互的流程图。

儿童专用智能设备视觉开启后，可以与用户通过视觉、语音、触摸、物理按钮交互方式展开交互。具体来说，用户可以通过手势等肢体动作、语音、触摸智能设备某一特定区域以及按压物理按钮等方式开启与儿童专用智能设备的交互。

儿童专用智能设备上可以安装有专用的客户端(APP)，其中包含两种交互模式，分别是教育交互模式以及游戏交互模式。在教育交互模式下，用户可以在儿童专用智能设备的帮助下进行教育内容学习过程，例如：学习语文知识，学习数学知识以及学习英语知识等。在游戏交互模式下，用户可以在游戏场景下，对学习到的知识进行巩固和回顾，在回答正确的情况下获得游戏奖励，在回答错误的情况下，获得游戏惩罚，使得用户在游戏中完成了对知识的复习，正反馈于教育交互模式。

在一个实施例中，在教育交互模式下，用户可以确定自己的教育基础信息，选择自己对应的教育分类和教育阶段。教育分类可以包含语文、数学以及英语分类。教育阶段可以包含学级信息以及学期信息等。

在确定用户的教育基础信息后，APP端可以向云端服务器请求返回与教育基础信息匹配的提示语以及知识点数据，APP端对知识点数据进行展示，展示的方式包含语音播报、图片展示，文字展示以及视频展示等。

用户可以跟随APP端进行知识点的学习，APP端可以对用户的学习过程进行引导，引导的方式包含指示点击、语音引导、录音播报等。在用户完成阶段性学习后，对用户的水平进行评测(例如：“萧萧梧叶送寒声的下一句是什么？”)，可以将用户的答案数据上传至云端进行评测处理，得到评测结果后将评测结果封装成相应的数据返回给APP端。

APP端接收并播放评测结果(例如：“您的回答非常正确，恭喜您完成了此次学习过程，奖励您一个体力值”)，重复上述过程进行多种知识点的学习，完成多次学习过程。在每次用户完成教育内容学习过程后，给予用户相应的虚拟奖励，虚拟奖励可以是体力值以及虚拟画面奖励等。

在一个实施例中，在游戏交互模式下，用户可以在APP端选择进入游戏交互模式，但进入游戏交互模式需要消耗相应的体力值。在进入游戏交互模式后，APP端从云端服务器获取已学会的知识点(“例如：“江上秋风动客情的上一句是什么？”)，通过APP端展示需要考核的知识点。

用户针对考核进行回答(例如：“应该是萧萧梧叶送寒声”)，云端服务器针对用户的回答进行判断，得到判断结果(例如：用户回答正确)判断用户是否回答正确，APP端根据判断结果，确定是否在游戏状态下对用户的角色发起攻击或体力补偿。在游戏过程中，可以重复向用户输出考核数据，对用户学习过的知识点进行考察，直至在游戏中用户的角色闯关成功或闯关失败。

在结束游戏过程后，根据用户的游戏表现，对用户进行虚拟奖励，虚拟奖励包含经验奖励或是金币奖励。

具体来说，在游戏中，只有用户完成了答题过程，才可以赢得游戏奖励，用户可以根据答题中获取的经验奖励或是体力值奖励，进行装备合成、装备替换以及角色升级等。

图5显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理装置的模块框图。

如图5所示，交互装置包含第一模块501、第二模块502、第三模块503、第四模块504以及第五模块505。其中，第一模块501包含获取单元5011。第二模块502包含传输单元5021、评测单元5022以及结果单元5023。第四模块504包含通信单元5041以及结果单元5042。第五模块505包含奖励单元5051。

第一模块501用于接收用户的多模态输入数据。其中，获取单元5011用于在儿童专用智能设备启动后获取用户输入的多模态输入数据。

第二模块502用于基于多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据教育基础信息引导用户进行对应的教育内容学习过程。其中，传输单元5021用于接收儿童专用智能设备传输的多模态输入数据。评测单元5022用于在教育内容学习过程中，对用户的学习过程进行评测。结果单元5023用于得到反映用户学习成果的评测结果数据。

第三模块503用于进入游戏交互模式，通过云端服务器输出与用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数。

第四模块504用于接收用户针对考核数据给出的多模态回答数据，进一步将多模态回答数据传输至云端服务器进行处理，得到游戏结果数据。其中，通信单元5041用于根据接收云端传送的多模态回应数据。输出单元5042用于得到并输出游戏结果数据。

第五模块505用于由游戏交互模式根据游戏结果数据，反馈所述游戏参数的正向数据，以对教育交互模式进行正反馈。奖励单元5051用于生成游戏奖励数据。

图6显示了根据本发明的一个实施例的基于儿童专用智能设备的数据处理系统的结构框图。如图6所示，完成多模态交互需要用户601、儿童专用智能设备602、云端603以及家长端604的共同参与。其中，儿童专用智能设备602包含输入输出装置6021、数据处理单元6022以及接口单元6023。云端603所具备的接口包含语义理解接口6031、视觉识别接口6032、认知计算接口6033以及情感计算接口6034。家长端604包含历史查看单元6041。

本发明提供的基于儿童专用智能设备的数据处理系统包含儿童专用智能设备602、云端603以及家长端604。儿童专用智能设备602包括支持视觉、感知、控制等输入输出模块的智能设备，可接入互联网，例如平板电脑、智能手机、智能电视、智能机器人、儿童手表等，具备多模态交互功能，能够接收用户输入的多模态数据，将多模态数据传输至云端进行解析，得到多模态回应数据，在儿童专用智能设备上输出。

儿童专用智能设备602中的客户端可以装载在安卓系统环境下，儿童专用智能设备可以是具备4G通信能力的安卓系统儿童手表等。家长端604也可以装载在安卓系统环境下，可以安装在智能手机中。

云端603具备语义理解、视觉识别、认知计算以及情感计算，以决策儿童专用智能设备输出多模态数据。

输入输出装置6021用于获取输入的多模态数据以及输出需要输出的多模态数据。输入的多模态数据可以是用户601输入的，也可以是周边环境输入的。输入输出装置6021的例子包括用于语音操作的麦克风、喇叭、扫描仪、摄像头、感控设备，如采用可见或不可见波长射线、信号、环境数据等等。可以通过以上提到的输入设备来获取多模态数据。多模态数据可以包含文本、音频、视觉以及感知数据中的一种，也可以包含多种，本发明不对此作出限制。

数据处理单元6022用于处理进行多模态交互中产生的数据。所用的处理器可以为数据处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端的控制中心，利用各种接口和线路连接整个终端的各个部分。

儿童专用智能设备602中包含存储器，存储器主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据儿童专用智能设备602的使用所创建的数据(比如音频数据、浏览记录等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

云端603包含语义理解接口6031、视觉识别接口6032、认知计算接口6033以及情感计算接口6034。以上这些接口与儿童专用智能设备602中的接口单元6023展开通信。并且，云端603还包含与语义理解接口6031对应的语义理解逻辑、与视觉识别接口6032对应的视觉识别逻辑、与认知计算接口6033对应的认知计算逻辑以及与情感计算接口6034对应的情感计算逻辑。

如图6所示，各个能力接口分别调用对应的逻辑处理。以下为各个接口的说明：

语义理解接口，其接收从接口单元6023转发的特定语音指令，对其进行语音识别以及基于大量语料的自然语言处理。

视觉识别接口，可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别，给出定量的检测结果。具备图像预处理功能、特征提取功能、决策功能和具体应用功能；

其中，图像预处理功能可以是对获取的视觉采集数据进行基本处理，包括颜色空间转换、边缘提取、图像变换和图像阈值化；

特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息；

决策功能可以是对特征信息，按照一定的决策策略分发给需要该特征信息的具体多模态输出设备或多模态输出应用，如实现人脸检测、人物肢体识别、运动检测等功能。

认知计算接口，其接收从接口单元6023转发的多模态数据，认知计算接口6033用以处理多模态数据进行数据采集、识别和学习，以获取用户画像、知识图谱等，以对多模态输出数据进行合理决策。

情感计算接口，其接收从接口单元6023转发的多模态数据，利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。

情感计算接口是在进行视觉情绪识别时，通过使用图像采集设备收集人类面部表情图像，而后转换成可分析数据，再利用图像处理等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。

家长端604在与用户账户绑定后，家长端604具有对用户账户的教育内容学习过程、教育内容学习结果、游戏过程以及游戏结果进行调取与查看的权限。家长端可以设置在家长的智能手机中，家长可以随时随地对儿童的学习过程进行监控和查看，家长端还具备一定的限制权限，可以限制儿童用户使用儿童专用智能设备的时间和特定应用。家长端604中的历史查看单元6041可以生成历史查看指令，云端603接收历史查看指令，向家长端输出儿童的历史结果，供家长查看。

此外，本发明提供的基于儿童专用智能设备的数据处理系统还可以配合一种程序产品，其包含用于执行完成基于儿童专用智能设备的数据处理方法步骤的一系列指令。程序产品能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

程序产品可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，程序产品包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，程序产品不包括电载波信号和电信信号。

图7显示了根据本发明的另一个实施例的基于儿童专用智能设备的数据处理系统的结构框图。完成多模态交互需要用户601、儿童专用智能设备602、云端603以及家长端604。其中，儿童专用智能设备602包含信号采集器件701、显示屏702、信号输出器件703以及中央处理器704。

信号采集器件701用于采集用户或外界环境输出的信号。信号采集器件701可以是麦克风等能够采集声音信号的设备，也可以是触摸屏等。显示屏702可以展示用户输入的多模态数据以及输出的多模态回应数据。信号输出器件703用于输出音频数据。信号输出器件703可以是功放和喇叭等能够输出音频数据的设备。中央处理器704可以对多模态交互过程中产生的数据进行处理。

根据本发明的一个实施例，儿童专用智能设备602支持视觉、感知、控制等输入输出模块的智能设备，例如具备显示屏幕和交互能力的设备，如儿童手表、智能平板IPAD等，具备多模态交互功能，能够接收用户输入的多模态数据，将多模态数据传输至云端进行解析，得到多模态回应数据，在儿童专用智能设备上输出。

图8显示了根据本发明的另一个实施例的基于儿童专用智能设备的数据处理方法流程图。

如图8所示，在步骤S801中，儿童专用智能设备602向云端603发出请求。之后，在步骤S802中，儿童专用智能设备602一直处于等待云端603回复的状态。在等待的过程中，儿童专用智能设备602会对返回数据所花费的时间进行计时操作。

在步骤S803中，如果长时间未得到返回的应答数据，比如，超过了预定的时间长度5S，则儿童专用智能设备602会选择进行本地回复，生成本地常用应答数据。然后，在步骤S804中，输出本地常用应答，并调用语音播放设备进行语音播放。

图9显示了根据本发明的一个实施例的用户、儿童专用智能设备、云端以及家长端的四方数据流图。

为了实现儿童专用智能设备602与用户601之间的多模态交互，需要用户601、儿童专用智能设备602、云端603以及家长端604之间建立起通信连接。这种通信连接应该是实时的、通畅的，能够保证交互不受影响的。

为了完成交互，需要具备一些条件或是前提。这些条件或是前提包含，儿童专用智能设备602中具备客户端，并且儿童专用智能设备602具备视觉、感知以及控制功能的硬件设施。

完成前期准备后，儿童专用智能设备602开始与用户601展开交互，首先，儿童专用智能设备602接收用户输入的多模态输入数据。多模态输入数据可以是语音数据、视觉数据、触觉数据，还可以是用户按下物理按钮。儿童专用智能设备602中配置有接收多模态输入数据的相应设备，用来接收用户601发送的多模态输入数据。此时，展开通信的两方是儿童专用智能设备602与用户601，数据传递的方向是从用户601传向儿童专用智能设备602。

然后，儿童专用智能设备602向云端603传输多模态输入数据。通过多模态输入数据确定教育交互模式，并获取用户的教育基础信息，引导用户进行对应的教育内容学习过程。多模态输入数据中可以包含多种形式的数据，例如，多模态输入数据中可以包含文本数据、语音数据、感知数据以及动作数据等。

接着，云端603向儿童专用智能设备602返回考核数据。云端603跟据用户的教育内容学习过程返回对应的考核数据。此时，展开通信的两方是云端603以及儿童专用智能设备602，数据传递的方向是从云端603传向儿童专用智能设备602。

然后，儿童专用智能设备602将考核数据返回至用户601，等待接收用户返回的多模态回答数据。

接着，当儿童专用智能设备602向云端603返回多模态回答数据，云端603进行处理，得到游戏结果数据，云端603向儿童专用智能设备传输游戏结果数据。儿童专用智能设备602中的游戏交互模块根据游戏结果数据，反馈所述游戏参数的正向数据，以对教育交互模式进行正反馈。

另外，家长端604可以向云端603发送历史记录查看指令，云端603接收到历史记录查看指令后调取与家长端604绑定的用户的历史记录，传输至家长端604，供家长进行查看。

综上，本发明提供的基于儿童专用智能设备的数据处理方法及系统提供了一种儿童专用智能设备，能够基于用户的教育基础信息引导用户进行对应的教育内容学习过程，在游戏交互模式下对用户在教育内容学习过程中学到的知识进行进一步的巩固。本发明能够通过游戏的方式对用户学习到的知识进行考核，并在用户考核成功后反馈所述游戏参数的正向数据，给儿童用户提供更加便捷的交互服务，提升了用户的使用体验。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于儿童专用智能设备的数据处理方法，其特征在于，所述方法包含以下步骤：

接收用户的多模态输入数据；

基于所述多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据所述教育基础信息引导用户进行对应的教育内容学习过程；

进入游戏交互模式，通过云端服务器输出与所述用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数；

接收用户针对所述考核数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据；

由所述游戏交互模式根据所述游戏结果数据，反馈所述游戏参数的正向数据，以对所述教育交互模式进行正反馈。

2.如权利要求1所述的方法，其特征在于，依据所述教育基础信息引导用户进行对应的教育内容学习过程的步骤中，具体包含以下步骤：

通过所述云端服务器上的教育服务器返回对应于所述教育基础信息的提示语数据以及知识点数据；

所述儿童专用智能设备通过预设的界面展示所述知识点数据，并通过语音或文字的方式引导用户进行所述教育内容学习过程；

接收用户在所述教育内容学习过程中输出的多模态数据，并将所述多模态数据上传至云端服务器；

通过云端服务器对所述多模态数据进行评测，得到反映用户学习成果的评测结果数据，以完成所述教育内容学习过程。

3.如权利要求1所述的方法，其特征在于，所述方法还包含：当用户完成所述教育内容学习过程后，给予用户账户相应的虚拟奖励，所述虚拟奖励包含表征当前用户学习级别的游戏参数。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述教育基础信息包含教育分类信息以及教育阶段信息。

5.如权利要求1所述的方法，其特征在于，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据的步骤中，具体包含以下步骤：

对所述多模态回答数据进行分析及判断，确定所述多模态回答数据是否与所述考核数据匹配；

若所述多模态回答数据与所述考核数据匹配，则增加所述游戏参数，当所述游戏参数大于第一阈值时，得到第一游戏结果数据；

若所述多模态回答数据与所述考核数据不匹配，则减少所述游戏参数，当所述游戏参数小于第二阈值时，得到第二游戏结果数据。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包含：在家长端与用户账户进行绑定后，所述家长端具有对用户账户的教育内容学习过程、教育内容学习结果、游戏过程以及游戏结果进行调取与查看的权限。

7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

8.一种基于儿童专用智能设备的数据处理装置，其特征在于，所述装置包含：

第一模块，其用于接收用户的多模态输入数据；

第二模块，其用于基于所述多模态输入数据确定教育交互模式，获取用户的教育基础信息，并依据所述教育基础信息引导用户进行对应的教育内容学习过程；

第三模块，其用于进入游戏交互模式，通过云端服务器输出与所述用户教育内容学习过程对应的考核数据，消耗表征当前用户学习级别的游戏参数；

第四模块，其用于接收用户针对所述考核数据给出的多模态回答数据，进一步将所述多模态回答数据传送至云端服务器进行处理，得到游戏结果数据；

第五模块，其用于由所述游戏交互模式根据所述游戏结果数据，反馈所述游戏参数的正向数据，以对所述教育交互模式进行正反馈。

9.一种儿童专用智能设备，其特征在于，所述儿童专用智能设备为儿童智能手表，用于执行如权利要求1-6中任一项所述的方法步骤的一系列指令。

10.一种基于儿童专用智能设备的数据处理系统，其特征在于，所述系统包含：

如权利要求9所述的儿童专用智能设备；

云端服务器，其具备语义理解、视觉识别、认知计算以及情感计算，以决策所述儿童专用智能设备输出多模态数据。

Images