CN103377568B - 一种多功能儿童体感教育系统 - Google Patents

Abstract

本发明公开了一种多功能儿童体感教育系统，包括输入模块、处理模块、控制模块、输出模块，特点是还包括数据存取模块、动作解析模块、语音解析模块、音乐解析模块，控制模块包括事物认知控制模块、发音纠正控制模块、舞蹈学习控制模块、乐感培养控制模块和动作编排控制模块，输入模块、处理模块、控制模块和输出模块依次相连，数据存取模块、动作解析模块、语音解析模块、音乐解析模块分别与所述的处理模块相连接，优点是兼具事物认知、发音纠正、舞蹈学习、乐感培养和动作编排的教育方式丰富多样，不仅能够帮助孩子学习知识，还能帮助孩子锻炼身体、陶冶情操、激发想象力等。

Description

一种多功能儿童体感教育系统

技术领域

本发明涉及教育用具领域，尤其是涉及一种多功能儿童体感教育系统。

背景技术

儿童的教育和智力发展是儿童成长过程中非常重要的环节，也是家长非常关注的部分。通常，家长通过儿童书籍对儿童进行教育和智力开发，儿童只能被动的接受书籍上设计好的知识，教育方式呆板，互动性差，加之书籍内容枯燥，大大降低了儿童学习的兴趣，不利于儿童教育和智力发展。并且书籍的体积较大，也不便于随身携带。现在市面上有的供儿童学习的学习机，然而现有的学习机的数据库内容有限，无法满足个性化的学习需求。

中国发明专利申请儿童教育系统及儿童教育方法(申请号CN201110310811.8)公开了一种儿童教育系统，包括处理器、输入模块、输出模块、存储模块、采集模块以及匹配模块；通过采集模块自主采集新的教育信息，并通过匹配模块匹配添加至数据库的教育内容中，使得对儿童的教育更有针对性，可以满足个性化的学习需求。该系统提供了需要学习的事物的静态图片，中文名称，英文名称，文字介绍，以及音频、视频介绍。有其相应的测试过程、在线竞赛方式和数据库更新过程，能够提高孩子学习的热情。

但是该教育系统仅仅从儿童教育的一方面入手，方式过于单一；只关注了儿童的知识素质培养，忽略了孩子的身体素质培养和想象力激发。同时，该教育系统更倾向于向儿童灌输知识，与孩子的互动较少，缺少交互性，容易使孩子失去学习兴趣。该教育系统与市面上的学习机比较类似，只是加强了数据库更新过程，扩展性不强。

发明内容

本发明所要解决的技术问题是提供一种兼具事物认知、发音纠正、舞蹈学习、乐感培养和动作编排的教育方式丰富多样，不仅能够帮助孩子学习知识，还能帮助孩子锻炼身体、陶冶情操、激发想象力的多功能儿童体感教育系统。

本发明解决上述技术问题所采用的技术方案为：一种多功能儿童体感教育系统，包括输入模块、处理模块、控制模块、输出模块，还包括数据存取模块、动作解析模块、语音解析模块、音乐解析模块，所述的控制模块包括事物认知控制模块、发音纠正控制模块、舞蹈学习控制模块、乐感培养控制模块和动作编排控制模块，所述的输入模块、所述的处理模块、所述的控制模块和所述的输出模块依次相连，所述的数据存取模块、所述的动作解析模块、所述的语音解析模块、所述的音乐解析模块分别与所述的处理模块相连接，

所述的输入模块用于获取动作和语音数据并传输给所述的处理模块；

所述的处理模块用于接收所述的输入模块输送的动作数据和语音数据，分别控制所述的动作解析模块对动作数据进行解析并返回解析数据，控制所述的语音解析模块对语音数据进行解析并返回解析数据，控制所述的音乐解析模块对预存音乐文件进行解析并返回解析数据，所述的处理模块读取所述的数据存取模块中的预存数据，所述的处理模块将各解析数据和预存数据输送给所述的控制模块；

所述的控制模块用于接收所述的解析数据和所述的预存数据并将所述的解析数据与所述的预存数据进行比较，将匹配结果转换为输出数据，输送给所述的输出模块；

所述的输出模块用于输出相应的教育内容。

上述所述的输入模块为体感设备，所述的体感设备包括动作数据输入模块和语音数据输入模块，所述的动作数据输入模块用于获取用户动作数据并转换为身体坐标数据，所述的语音数据输入模块用于获取用户语音数据并识别出相应的英文单词，所述的动作数据为用户身体动作，所述的语音数据为用户发出的语音，所述的预存数据包括图片和视频。

所述的动作解析模块将身体坐标数据转换为屏幕坐标并将屏幕坐标返回所述的处理模块，所述的处理模块根据传输回来的屏幕坐标，判断该坐标是否选择某一事物，如果用户执行选择操作，则所述的处理模块调用数据存取模块，获取该事物对应的介绍视频和图片，然后将屏幕坐标、介绍视频和图片传输给所述的事物认知控制模块，所述的事物认知控制模块将屏幕坐标设置到光标中、将对应的视频数据设置到视频播放框中，同时将对应的图片数据设置到图片展示框中，所述的输出模块输出光标、对应事物的视频和图片；如果用户没有执行选择操作，则所述的输出模块输出光标和各类可以被选择的事物和背景。

所述的动作解析模块将身体坐标数据转换为屏幕坐标并将屏幕坐标返回所述的处理模块，所述的处理模块根据传输回来的屏幕坐标，判断该坐标是否选择某一事物，如果用户执行选择操作，所述的处理模块控制所述的语音解析模块对语音数据进行分析，判断语音数据是否与选择的事物匹配，如果匹配，则所述的处理模块将匹配结果传输给发音纠正控制模块，所述的发音纠正控制模块消除选中事物图片并将新的图片列表传输给所述的输出模块，所述的输出模块输出新的图片列表；如果没有匹配，则所述的处理模块调用数据存取模块的语音识别库，获取选中事物的正确读音并传输给发音纠正控制模块，所述的发音纠正控制模块将选中事物的正确读音发送到输出模块，所述的输出模块输出选中事物的正确读音。

所述的动作解析模块将身体坐标数据进行标准化处理后得到动作序列并返回所述的处理模块，每隔一秒钟所述的处理模块将获取一次动作序列，然后将获取的动作序列与系统模型人在同一秒内运动的动作序列进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的舞蹈学习控制模块，所述的舞蹈学习控制模块将匹配结果转化为对应的分数和星级数目并发送给所述的输出模块，所述的输出模块输出模型人、用户分数和星级数目。

所述的标准化处理过程为将用户的身体各个部位的绝对坐标转换成相对于用户的身体中心的相对坐标。可消除掉用户位置变化产生的影响。

所述的动作解析模块将身体坐标数据进行标准化和防抖处理后，获取关键部位坐标值并返回所述的处理模块，所述的处理模块根据每一秒的关键部位坐标值计算得到各个相应关键部位的移动频率和移动幅度，所述的音乐解析模块对预存音乐文件中音乐的波形数据进行处理获得每一秒的强弱波数据并返回所述的处理模块，所述的处理模块将同一秒内的关键部位的移动频率和移动幅度分别与强弱波数据进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的乐感培养控制模块，所述的乐感培养控制模块将匹配结果转化为对应的分数和等级并发送给所述的输出模块，所述的输出模块输出相应用户分数和等级。

所述的关键部位坐标值包括左右手掌，左右手肘，左右膝盖，左右脚掌和头部的坐标值。

所述的动作解析模块将身体坐标数据进行标准化处理后获取动作序列并返回所述的处理模块，每隔一秒钟所述的处理模块将获取一次动作序列，然后将获取的动作序列与预存标准动作序列进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的动作编排控制模块，所述的动作编排控制模块将匹配结果与预设阈值进行比较，如果达到阈值，则所述的动作编排控制模块驱动系统模型人执行与预存标准动作序列对应的舞蹈动作并将舞蹈动作发送给所述的输出模块，所述的输出模块输出系统模型人及其一系列舞蹈动作。

所述的输出模块包括用于输出图片，视频和文字的显示设备以及用于输出声音的音频设备。

与现有技术相比，本发明的优点在于：本发明是一种多功能儿童体感教育系统，包括输入模块、处理模块、控制模块、输出模块，还包括数据存取模块、动作解析模块、语音解析模块、音乐解析模块，控制模块包括事物认知控制模块、发音纠正控制模块、舞蹈学习控制模块、乐感培养控制模块和动作编排控制模块，输入模块、处理模块、控制模块和输出模依次相连，数据存取模块、动作解析模块、语音解析模块、音乐解析分别与处理模块相连接，上述连接结构关系使系统具有事物认知功能、发音纠正功能、舞蹈学习功能、乐感培养功能和动作编排功能。事物认知功能模块通过输出图片、文字、视频来帮助提高孩子的知识素养；发音纠正功能模块通过游戏的方式帮助儿童提高口语发音的准确性；舞蹈学习功能模块通过提供简单舞蹈帮助儿童提高身体素质，增强身体协调性；乐感培养功能模块帮助儿童陶冶情操，提高艺术修养；动作编排功能模块用于激发孩子的想象力；从事物认知、发音纠正到舞蹈学习、乐感培养和动作编排，系统从儿童德智体美劳全方面考虑，教育方式丰富多样，不仅能够帮助孩子学习知识，还能帮助孩子锻炼身体、陶冶情操、激发想象力等。

综上所述，本发明了儿童体感教育系统，具有很强的交互性，在学习过程中给予孩子实时反馈，通过反馈和鼓励能够激发孩子学习的兴趣，提高他们的学习热情，解决了传统教育工具交互方式不好、教学方式落后的问题，提出了一个全新的、更自然、更富有交互性的教学系统。该系统扩展性较强，增加数据包即可实现，能够应用于多种场所，比如教师上课教学活动，不仅减轻教师上课压力，而且能够集中学生的注意力，提高教学方式的多样性，提高教学质量。

附图说明

图1为本发明多功能儿童体感教育系统的结构图；

图2为一个以事物认知为实施例的儿童体感教育系统的结构图；

图3为一个以发音纠正为实施例的儿童体感教育系统的结构图；

图4为一个以舞蹈学习为实施例的儿童体感教育系统的结构图；

图5为一个以乐感培养为实施例的儿童体感教育系统的结构图；

图6为一个以动作编排为实施例的儿童体感教育系统的结构图；

图7为动态时间规整算法的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

具体实施例

本发明一种多功能儿童体感教育系统是一款旨在给儿童提供更有趣的学习环境，帮助儿童更好的学习知识的系统，如图1所示，包括输入模块110、处理模块120、控制模块130、输出模块140，还包括数据存取模块160、动作解析模块170、语音解析模块150、音乐解析模块180，控制模块130包括事物认知控制模块131、发音纠正控制模块132、舞蹈学习控制模块133、乐感培养控制模块134和动作编排控制模块135，输入模块110、处理模块120、控制模块130和输出模块140依次相连，数据存取模块160、动作解析模块170、语音解析模块150、音乐解析模块180分别与处理模块120相连接，输入模块110用于获取动作和语音数据并传输给处理模块120；

处理模块120用于接收输入模块110输送的动作数据和语音数据分别控制动作解析模块170对动作数据进行解析并返回解析数据，控制语音解析模块150对语音数据进行解析并返回解析数据，控制音乐解析模块180对预存音乐文件进行解析并返回解析数据，处理模块120读取数据存取模块160中的预存数据，处理模块120将各解析数据和预存数据输送给控制模块130；

控制模块130用于接收解析数据和预存数据并将解析数据与预存数据进行比较，将匹配结果转换为输出数据，输送给输出模块140；

输出模块140用于输出相应的教育内容。

输入模块110为体感设备，体感设备包括动作数据输入模块111和语音数据输入模块112，动作数据输入模块111用于获取用户动作数据并转换为身体坐标数据，语音数据输入模块112用于获取用户语音数据并识别出相应的英文单词，动作数据为用户身体动作，语音数据为用户发出的语音，预存数据包括图片和视频。输出模块140包括可以输出图片、视频、文字中的至少一种的显示设备，以及用于输出声音的音频设备(声卡、扬声器等)。

上述系统主要分为五个功能块分别是：事物认知功能块、发音纠正功能块、舞蹈学习功能块、乐感培养功能块、动作编排功能块。该系统可应用于笔记本电脑等移动终端上，以互动游戏的方式对儿童进行教育。以下对上述各功能块一一介绍：

1、事物认知功能

1.1事物认知功能块简介

事物认知功能块主要帮助孩子认识生活中常见的事物，比如水果、数字等等。当孩子选择进入这个功能块，他将看到一棵挂着一些卡通形象的树；当他选中其中一个事物时，系统会提供这个事物的认知资料，如该事物的介绍视频，同时也可以切换到其他不同种类的事物学习。我们选择这样的方式主要是观察到孩子优秀的模仿能力和记忆力，通过图片、视频介绍来加深孩子的印象。这能够抓住孩子的好奇心，促进孩子主动学习。

1.2涉及到的交互方式和算法

在这个功能块中，用户与系统进行交互的方式为：用户站在体感设备面前，移动他的左手，体感设备能够获取用户左手的空间位置坐标，我们将该位置换算(换算算法为，将用户所在的平面的范围缩放到屏幕大小，这样用户的手的位置也被缩放到屏幕中一个位置)为屏幕中对应位置，并在屏幕对应位置上绘制一个光标。这样，用户移动左手的时候，光标就能随之在屏幕上移动。当用户期望选中某一个事物，比如屏幕中树上挂着的水果时，他先将光标移动到该水果的位置上，然后保持该光标在水果范围内一段时间(1s左右)，这样就能选中该事物。

1.3实现事物认知功能的儿童体感教育系统

一个以事物认知为实施例的儿童体感教育系统，如图2所示，包括动作数据输入模块111、处理模块120、事物认知控制模块131、输出模块140、数据存取模块160以及动作解析模块170。动作数据输入模块111、处理模块120、事物认知控制模块131及输出模块140依次连接、数据存取模块160与动作解析模块170分别与处理模块120相连接。

动作数据输入模块111获取用户左手的坐标数据，将结果传输给处理模块120。

处理模块120接收用户左手的空间坐标数据后，控制动作解析模块170对数据进行解析(将左手空间坐标数据转换为屏幕上的坐标)并返回该屏幕上的坐标。处理模块120根据传输回来的屏幕坐标，判断该坐标是否处于一些按钮(前述的事物，如水果或者其他可以被选中的菜单按钮)，如果是，判断用户是否做出选择该事物的选择(在一段时间内(1s左右)返回的坐标范围都在同一按钮(也即事物，如苹果)下面)，如果是选择，调用数据存取模块160，获取该事物(如苹果)对应的介绍视频、图片等。然后将前述处理结果传输给事物认知控制模块131。

事物认知控制模块131将将屏幕坐标设置到光标中、将对应的视频数据设置到视频播放框中，同时将对应的图片数据设置到图片展示框中，并将结果转换为输出数据发送到输出模块140。如果用户执行选择操作，则输出模块140显示光标的位置，对应事物的视频和图片，如果用户没有执行选择操作，则输出模块140显示各类可以被选择的事物和背景。

2、发音纠正功能

2.1发音纠正功能块简介

发音纠正功能块主要通过游戏的方式帮助孩子学习英语，并矫正口语发音。当孩子选择进入这个模块，他将看到被事物图片遮盖的界面。当孩子选中界面上的小狗时，系统提供排列最先的事物发音，孩子可以跟着发音。若孩子发音正确时，覆盖的事物图片消失；否则，系统提示正确发音。同时孩子也可以自主选择不同种类的事物学习。我们可以通过提供一连串的故事图片作为背景，吸引孩子继续学习。

2.2涉及的交互方式和算法

本模块使用了上一模块中使用的移动光标和选择事物的交互方式，具体参见上一功能块介绍，此外，本功能还使用了语音交互的交互方式，该交互方式为根据用户发出的英文单词的不同，消除不同的事物图片。

2.3实现发音纠正功能的儿童体感教育系统

一个以发音纠正为实施例的儿童体感教育系统，如图3所示，包括动作数据输入模块111、语音数据输入模块112、处理模块120、发音纠正控制模块132、输出模块140、语音解析模块150、数据存取模块160以及动作解析模块170。动作数据输入模块111、语音数据输入模块112分别与处理模块120连接、处理模块120、发音纠正控制模块132与输出模块140依次相连、语音解析模块150、数据存取模块160以及动作解析模块170分别与处理模块120相连接。

动作数据输入模块111用于输入动作数据信息，这里指的是获取用户左手的空间坐标，将该坐标传输给处理模块120。

语音数据输入模块112用于输入语音数据信息。这里指获取用户的语音，并将语音的识别结果(语音对应的英语单词，本功能块调用第三方语音识别库)传输给处理模块120。

处理模块120接收动作数据后，控制动作解析模块170对动作数据进行解析，将其换算为屏幕上坐标并返回解析结果。处理模块120将判断该坐标是否在可被选择的事物范围内(用户选中一个事物(判断是否选择的逻辑见事物认知功能所述))，如果用户执行选择操作，处理模块120控制语音解析模块180对语音数据进行分析，判断语音数据是否与选择的事物匹配，如果匹配，则处理模块120将匹配结果传输给发音纠正控制模块132，发音纠正控制模块132消除选中事物图片并将新的图片列表传输给输出模块140，输出模块140输出新的图片列表；如果没有匹配，则处理模块120调用数据存取模块160的语音识别库，获取选中事物的正确读音并传输给发音纠正控制模块132，发音纠正控制模块132将选中事物的正确读音发送到输出模块140，输出模块140输出选中事物的正确读音(即当用户发音不正确输出的选中事物的读音)。

3舞蹈学习功能

3.1舞蹈学习功能简介

这个功能块主要帮助孩子学习一些舞蹈动作。当孩子进入这个功能块时，能看到一个3D模型。孩子选择开始后，3D模型就会做一些舞蹈动作，孩子可以跟随3D模型一起学习动作，同时系统根据孩子的学习效果提供反馈。这样的表现方式令交互更自然，更直观，孩子可以在屏幕上看到自己的动作，并根据反馈自主矫正动作。

3.2设计的交互方式和算法

本功能块主要通过体感输入设备获取用户的身体姿势的变化。用户只需要看着屏幕，然后根据屏幕上的模型人的运动，而做出对应的动作即可。

本功能块涉及到了动作的匹配算法。在这里我们采用了动态时间规整算法去匹配用户做出的动作与模型的动作的相似度，并依此为依据给用户打分。动态时间规整算法进行一次的流程大致如图7所示：

在获取用户运动状态阶段，系统利用体感输入设备获取用户的当前运动状态，比如说用户当前的身体各部分的空间坐标等等。这个阶段是系统每隔1/30秒就自动做一次。

获取了用户的运动状态后，首先要对获取的运动状态进行标准化，标准化的做法是将用户的身体各个部位的绝对坐标转换成相对于用户的身体中心的相对坐标，这样就可消除掉用户位置变化产生的影响。

每过一秒钟，系统会将当前一秒内获取的用户状态的序列，并将其与系统中模型人在这一秒内的动作序列采用动态时间规整的算法进行比较，经过比较将会返回一个比较结果

该比较结果是一个不容易理解的数值，所以需要将其按照一定的阈值进行分解，转换为匹配结果中的优，良，中，差四个等级，然后按照匹配结果转化为分数，显示到屏幕上。

3.3实现舞蹈学习功能的儿童体感教育系统

一个以舞蹈学习为实施例的儿童体感教育系统，如图4所示，包括动作数据输入模块111、处理模块120、舞蹈学习控制模块133、输出模块140、数据存取模块160以及动作解析模块170。动作数据输入模块111、处理模块120、舞蹈学习控制模块133与输出模块140依次相连、数据存取模块160、动作解析模块170分别与处理模块120相连接。

动作数据输入模块111用于输入动作数据信息(这里是指获取用户的身体运动状态，也即舞蹈状态)。在该舞蹈学习控制模块实施例中，动作数据输入模块111获取用户动作数据，将结果传输给处理模块120。

处理模块120接收数据后，控制动作解析模块170对数据进行解析(这里包括了对动作的标准化与存储的操作)。处理模块120将解析结果进行处理(这里是指每隔一秒钟，处理模块将获取一次动作序列，然后将该动作序列与模型人在这一秒内运动的动作序列进行对比)，将处理结果(这里指匹配结果)传输给舞蹈学习控制模块133。

舞蹈学习控制模块133将处理模块120发送过来的匹配结果进行进一步处理分析(这里分析用户的匹配结果对应的分数是多少)，并将结果转换为输出数据(转化为分数，同时计算应该显示多少个星星)，发送到输出模块140，输出模块140输出图片、模型(显示界面，显示模型人，显示用户分数，显示用户获得的星星)，以及用于输出声音(当做到最佳匹配的时候，输出掌声)。

4乐感培养功能

4.1乐感培养功能简介

当孩子进入乐感培养功能块后他会看到一个3D模型。系统开始播放音乐，孩子可以跟着音乐节奏随意舞动，3D模型也随之做舞蹈动作。同时系统会根据音乐节奏和舞蹈动作节奏的匹配度打分，给予孩子反馈，帮助孩子随时调整自己的舞动节奏。

4.2涉及到的交互方式和算法

本模块采用与舞蹈学习功能相类似的交互方式，用户站在屏幕面前随着音乐节奏舞动，系统根据用户舞动的节奏和所播放的音乐的节奏对比结果，给予用户反馈。

本功能块包括三部分的算法：

首先是动作节奏解析部分，在获取用户运动状态阶段，系统利用体感输入设备获取用户的当前运动状态，比如说用户当前的身体各部分的空间坐标等等。这个阶段是系统每隔1/30秒就自动做一次。获取了用户的运动状态后，首先要对获取的运动状态进行标准化，标准化的做法是将用户的身体各个部位的绝对坐标转换成相对于用户的身体中心的相对坐标，这样就可消除掉用户位置变化产生的影响。然后对相对坐标进行防抖操作，由于设备的局限性容易出现误差较大的坐标，对于突变性较大的坐标进行忽视，然后对连续的四个坐标值取平均值。本模块只获取关键部位的坐标值，其中包括左右手掌，左右手肘，左右膝盖，左右脚掌和头部的坐标值。根据每一秒的坐标值计算各个关键部位的加速度。根据加速度来判断各个关键部位的移动频率和移动幅度。

接着是音乐节奏解析部分，该部分会解析用户在运动状态时候听到的音乐，把音乐分解到每一帧，每一帧会有512个浮点型数值，通过融合，平均，去噪等操作，可以得到音乐的频率波形。根据波形的震荡得到音乐的强弱波。

最后是两者进行比较部分，有动作解析部分解析出来的移动频率和加速度分别与音乐解析部分解析出来的强弱波。每一秒钟按比较算法进行匹配。比较算法会匹配出5种匹配结果。分别是好，次好，一般，较差，差。然后按照匹配结果转化为表现方式，显示到屏幕上。

4.3实现乐感培养的儿童体感教育系统

一个以乐感培养为实施例的儿童体感教育系统，如图5所示，包括动作数据输入模块111、处理模块120、乐感培养控制模块134、输出模块140、数据存取模块160、动作解析模块170以及音乐解析模块180。动作数据输入模块111、处理模块120、乐感培养控制模块134与输出模块140依次相连、数据存取模块160、动作解析模块170、音乐解析模块190分别与处理模块120相连接。

动作数据输入模块111用于输入动作数据信息(这里是指用户的身体运动状态，也即舞蹈状态)。在该乐感培养控制模块实施例中，动作数据输入模块111获取用户动作数据，将结果传输给处理模块120。

处理模块120接收数据后，控制动作解析模块170对数据进行解析并返回解析结果(将身体坐标数据进行标准化和防抖处理后，获取关键部位坐标值并返回所述的处理模块)。处理模块120根据每一秒的关键部位坐标值计算得到各个相应关键部位的移动频率和移动幅度，音乐解析模块180对预存音乐文件中音乐的波形数据进行处理获得每一秒的强弱波数据并返回处理模块120，处理模块120将同一秒内的关键部位的移动频率和移动幅度分别与强弱波数据进行对比获得匹配结果，处理模块120将匹配结果传输给乐感培养控制模块134，乐感培养控制模块134将匹配结果转化为对应的分数和等级并发送给输出模块140，输出模块140输出图片、模型(显示界面，显示模型人，显示用户分数，显示用户获得的星星)，以及用于输出声音(当做到最佳匹配的时候，输出掌声)。

5动作编排功能

5.1动作编排功能简介

当孩子进入动作编排功能块后会看到一个3D模型。孩子做一些简单的手势动作，比如左右平移，上下平移，转圈等，系统识别后模型做出对应的舞蹈动作。也即是孩子利用一些手势动作去编排模型人所跳的舞。

5.2涉及到的交互方式和算法

本模块交互方式与上两个模块基本类似：用户站在屏幕面前，这次是做出各种手势，系统根据用户的这些手势去驱动模型人做出一些舞蹈动作。

涉及到的算法也是动态时间规整。这次是将用户的手掌，手肘，肩膀的位置标准化后存起来，每隔一秒左右将获取的动作序列与预存的手势进行对比，当匹配结果达到我们希望的阈值后，就认为用户做出了一个与做比较的预存手势一致的手势，然后就驱动模型人去做这个手势对应的舞蹈动作。

5.3实现动作编排的儿童体感教育系统

一个以动作编排为实施例的儿童体感教育系统，如图6所示，包括动作数据输入模块111、处理模块120、动作编排控制模块135、输出模块140、数据存取模块160以及动作解析模块170。动作数据输入模块111、处理模块120、动作编排控制模块135与输出模块140依次相连、数据存取模块160、动作解析模块170分别与处理模块120相连接。

作数据输入模块111用于输入动作数据信息(这里指用户手的各个部分：手掌、手腕、手肘、肩膀的位置)。在该动作编排功能块实施例中，动作数据输入模块111获取用户动作数据，将结果传输给处理模块120。

处理模块120接收数据后，控制动作解析模块170对数据进行解析(标准化处理后获取动作序列)并返回解析结果。每隔一秒钟处理模块120将获取一次动作序列，然后将获取的动作序列与预存标准动作序列进行对比获得匹配结果，处理模块120将匹配结果传输给动作编排控制模块135，动作编排控制模块135将匹配结果与预设阈值进行比较，如果达到阈值，则动作编排控制模块135驱动系统模型人执行与预存标准动作序列对应的舞蹈动作并将舞蹈动作发送给输出模块140，输出模块140输出图片视屏(系统模型人及其一系列舞蹈动作)。

上述儿童体感教育系统，不单是知识的传递，还涵盖了语言表达、生活常识等早教内容，可以应用于笔记本电脑等移动终端中，可以通过图片、声音、视频等激发儿童求知欲。

当然，上述说明并非对本发明的限制，本发明也并不限于上述举例。本技术领域的普通技术人员在本发明的实质范围内，做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.一种多功能儿童体感教育系统，包括输入模块、处理模块、控制模块、输出模块，其特征在于还包括数据存取模块、动作解析模块、语音解析模块、音乐解析模块，所述的控制模块包括事物认知控制模块、发音纠正控制模块、舞蹈学习控制模块、乐感培养控制模块和动作编排控制模块，所述的输入模块、所述的处理模块、所述的控制模块和所述的输出模块依次相连，所述的数据存取模块、所述的动作解析模块、所述的语音解析模块、所述的音乐解析模块分别与所述的处理模块相连接，

所述的输入模块用于获取动作和语音数据并传输给所述的处理模块；

所述的处理模块用于接收所述的输入模块输送的动作数据和语音数据，分别控制所述的动作解析模块对动作数据进行解析并返回解析数据，控制所述的语音解析模块对语音数据进行解析并返回解析数据，控制所述的音乐解析模块对预存音乐文件进行解析并返回解析数据，所述的处理模块读取所述的数据存取模块中的预存数据，所述的处理模块将各解析数据和预存数据输送给所述的控制模块；

所述的控制模块用于接收所述的解析数据和所述的预存数据并分别将动作解析模块获得的解析数据与预存数据进行比较，语音解析模块获得的解析数据与预存数据进行比较，音乐解析模块获得的解析数据与动作解析模块获得的解析数据进行比较，所述的控制模块将获得的匹配结果转换为输出数据，输送给所述的输出模块；

所述的输出模块用于输出相应的教育内容。

2.根据权利要求1所述的一种多功能儿童体感教育系统，其特征在于：所述的输入模块为体感设备，所述的体感设备包括动作数据输入模块和语音数据输入模块，所述的动作数据输入模块用于获取用户动作数据并转换为身体坐标数据，所述的语音数据输入模块用于获取用户语音数据并识别出相应的英文单词，所述的动作数据为用户身体动作，所述的语音数据为用户发出的语音，所述的预存数据包括图片和视频。

3.根据权利要求2所述的一种多功能儿童体感教育系统，其特征在于：

所述的动作解析模块将身体坐标数据转换为屏幕坐标并将屏幕坐标返回所述的处理模块，所述的处理模块根据传输回来的屏幕坐标，判断该坐标是否选择某一事物，如果用户执行选择操作，则所述的处理模块调用数据存取模块，获取该事物对应的介绍视频和图片，然后将屏幕坐标、介绍视频和图片传输给所述的事物认知控制模块，所述的事物认知控制模块将屏幕坐标设置到光标中、将对应的视频数据设置到视频播放框中，同时将对应的图片数据设置到图片展示框中，所述的输出模块输出光标、对应事物的视频和图片；如果用户没有执行选择操作，则所述的输出模块输出光标和各类可以被选择的事物和背景。

4.根据权利要求2所述的一种多功能儿童体感教育系统，其特征在于：所述的动作解析模块将身体坐标数据转换为屏幕坐标并将屏幕坐标返回所述的处理模块，所述的处理模块根据传输回来的屏幕坐标，判断该坐标是否选择某一事物，如果用户执行选择操作，所述的处理模块控制所述的语音解析模块对语音数据进行分析，判断语音数据是否与选择的事物匹配，如果匹配，则所述的处理模块将匹配结果传输给发音纠正控制模块，所述的发音纠正控制模块消除选中事物图片并将新的图片列表传输给所述的输出模块，所述的输出模块输出新的图片列表；如果没有匹配，则所述的处理模块调用数据存取模块的语音识别库，获取选中事物的正确读音并传输给发音纠正控制模块，所述的发音纠正控制模块将选中事物的正确读音发送到输出模块，所述的输出模块输出选中事物的正确读音。

5.根据权利要求2所述的一种多功能儿童体感教育系统，其特征在于：所述的动作解析模块将身体坐标数据进行标准化处理后得到动作序列并返回所述的处理模块，每隔一秒钟所述的处理模块将获取一次动作序列，然后将获取的动作序列与系统模型人在同一秒内运动的动作序列进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的舞蹈学习控制模块，所述的舞蹈学习控制模块将匹配结果转化为对应的分数和星级数目并发送给所述的输出模块，所述的输出模块输出模型人、用户分数和星级数目。

6.根据权利要求5所述的一种多功能儿童体感教育系统，其特征在于：所述的标准化处理过程为将用户的身体各个部位的绝对坐标转换成相对于用户的身体中心的相对坐标。

7.根据权利要求2所述的一种多功能儿童体感教育系统，其特征在于：所述的动作解析模块将身体坐标数据进行标准化和防抖处理后，获取关键部位坐标值并返回所述的处理模块，所述的处理模块根据每一秒的关键部位坐标值计算得到各个相应关键部位的移动频率和移动幅度，所述的音乐解析模块对预存音乐文件中音乐的波形数据进行处理获得每一秒的强弱波数据并返回所述的处理模块，所述的处理模块将同一秒内的关键部位的移动频率和移动幅度分别与强弱波数据进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的乐感培养控制模块，所述的乐感培养控制模块将匹配结果转化为对应的分数和等级并发送给所述的输出模块，所述的输出模块输出相应用户分数和等级。

8.根据权利要求7所述的一种多功能儿童体感教育系统，其特征在于：所述的关键部位坐标值包括左右手掌，左右手肘，左右膝盖，左右脚掌和头部的坐标值。

9.根据权利要求2所述的一种多功能儿童体感教育系统，其特征在于：所述的动作解析模块将身体坐标数据进行标准化处理后获取动作序列并返回所述的处理模块，每隔一秒钟所述的处理模块将获取一次动作序列，然后将获取的动作序列与预存标准动作序列进行对比获得匹配结果，所述的处理模块将匹配结果传输给所述的动作编排控制模块，所述的动作编排控制模块将匹配结果与预设阈值进行比较，如果达到阈值，则所述的动作编排控制模块驱动系统模型人执行与预存标准动作序列对应的舞蹈动作并将舞蹈动作发送给所述的输出模块，所述的输出模块输出系统模型人及其一系列舞蹈动作。

10.根据权利要求1-9中任一项所述的一种多功能儿童体感教育系统，其特征在于：所述的输出模块包括用于输出图片，视频和文字的显示设备以及用于输出声音的音频设备。