CN103164995A - 儿童体感交互式学习系统及方法 - Google Patents

Abstract

儿童体感交互式学习系统及方法，该系统包括体感捕捉与追踪组件、体感交互学习行为智能处理模块、体感行为与学习资源数据库、PC主机、交互显示屏、音箱；所述体感交互学习行为智能处理模块和体感行为与学习资源数据库集成在所述PC主机内；所述PC主机分别与所述体感捕捉与追踪组件、交互显示屏及音箱连接；PC主机与体感交互学习行为智能处理模块、体感行为与学习资源数据库双向连接；本发明还包括使用所述儿童体感交互式学习系统进行学习的方法。使用本发明，儿童能够以身体最自然的方式通过终端显示屏进行隔空交互学习。

Description

儿童体感交互式学习系统及方法

技术领域

本发明涉及自然人机交互技术和多媒体计算机应用领域，更具体地说，涉及一种儿童体感交互式学习系统及方法。

背景技术

儿童教育对于提高国民素质具有重要的意义。儿童活泼好动，其心理特点是易于接受直观形象的事物，喜欢趣味性学习，喜欢以娱乐方式来学习知识。根据信息时代流行的建构主义学习理论，创建学习情境是提高学习兴趣的关键，知识不单是通过教师传授获得，更重要的是通过儿童在学习情境中主动构建事物之间的内在联系来获得。因此，儿童体感交互式学习系统十分适合于儿童对事物的探索，是儿童非常乐于接受的学习形式。特别是随着多媒体计算机应用的日益普及，利用多媒体计算机进行趣味性和寓教于乐的学习已成为儿童的主要课余学习方式。

目前，各类基于计算机的儿童交互学习系统都需要儿童停留在终端显示屏前面，通过触摸终端显示屏或用键盘和鼠标才能进行交互学习，不能够以儿童身体最自然的体态方式通过终端显示屏进行隔空交互学习，互动性差，学习单调乏味，更缺乏情感的交互，易使儿童产生学习疲劳，视力损害。

发明内容

本发明要解决的技术问题是，克服现有儿童交互学习系统的不足与缺陷，提供一种儿童体感交互式学习系统及方法，从儿童知识学习、激发创造、虚拟实验和技能训练等方面，集实物仿真、创新设计和智能指导于一体，具有良好的自主性、交互性、可扩展性和安全性，让儿童在真实的学习环境中通过终端显示屏中隔空进行趣味性和寓教于乐的交互学习，操作简单，学习内容能够及时更新。

本发明解决其技术问题所采用的技术方案是：

儿童体感交互式学习系统，包括体感捕捉与追踪组件、体感交互学习行为智能处理模块、体感行为与学习资源数据库、PC主机、交互显示屏、音箱。

所述体感交互学习行为智能处理模块和体感行为与学习资源数据库集成在所述PC主机内。

所述PC主机分别与所述体感捕捉与追踪组件、交互显示屏及音箱连接；PC主机与体感交互学习行为智能处理模块、体感行为与学习资源数据库双向连接。

所述体感捕捉与追踪组件为儿童体感捕捉与追踪硬件集成，体感捕捉与追踪组件内包含有红外雷射光发送器、红外摄像头、3D景深摄像头及2只麦克风，用于捕捉儿童学习中的体态交互行为(肢体动作)和思维(语音)数据。

所述麦克风优选无指向矩阵麦克风。 

所述体感交互学习行为智能处理模块为内含算法的儿童体感捕捉与追踪的应用软件，体感交互学习行为智能处理模块内包含有体态行为智能分析与处理模块、语音特征智能分析与处理模块、交互行为综合处理与智能关联模块；体态行为智能分析与处理模块、语音特征智能分析与处理模块均与交互行为综合处理与智能关联模块双向连接；交互行为综合处理与智能关联模块分别与体态行为智能分析与处理模块及体感行为与学习资源数据库中的儿童体感行为数据库匹配后形成体态交互关联模型；交互行为综合处理与智能关联模块分别与语音特征智能分析与处理模块及儿童学习资源数据库匹配后形成语音交互关联模型。

所述体感行为与学习资源数据库为儿童体感交互学习行为数据库与根据儿童生理、心理行为和认知特点而精选的多媒体科普百科知识资源库，内包含有儿童体感行为数据库、儿童学习资源数据库，用于体感交互学习行为智能处理模块构建关联模型时提供儿童交互学习行为数据和相关学习对象。

所述PC主机具有儿童体感交互学习功能，体感交互学习行为智能处理模块和体感行为与学习资源数据库集成在所述PC主机内，儿童体感行为数据库包含有儿童体态行为和语音特征数据，形成智慧辨识能力，可有效地理解儿童的肢体动作和语音所代表的交互学习行为的涵义；儿童学习资源数据库包含有根据儿童的学习需要设计与开发的基于面向对象技术的体感交互式学习软件资源包，如自然和谐的交互式科普实验室、实时虚拟交互学习课堂、交互式多媒体电子书模块等海量的儿童多媒体学习资源。

所述交互显示屏为PC机通用显示屏，是儿童与体感交互式学习系统、多媒体科普百科知识资源库中学习对象学习交互的界面。

所述音箱为高保真组合音箱，是用来呈现儿童在交互学习过程的语音及音频信息。

儿童交互学习中存在人机互动，是儿童的体态动作与语音的融合方式。

使用本发明之儿童体感交互式学习系统进行学习的方法，包括如下步骤：先启动PC主机→启动交互显示屏→启动音箱→启动体感捕捉与追踪组件→启动体感交互学习行为智能处理模块→启动体感行为与学习资源数据库，儿童通过交互显示屏登陆，进入儿童学习资源数据库中的基于面向对象技术的体感交互式学习软件资源包，根据自己需要进行体感交互式学习。

其中，所述儿童学习资源数据库中的基于面向对象技术的体感交互式学习软件资源包，包括根据儿童的学习需要设计与开发的一系列基于面向对象技术的体感交互式学习资源软件模块，如自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块、交互式多媒体电子书模块等。因为PC主机操作系统为多任务系统，所以基于面向对象技术的体感交互式学习软件资源包可以与移植过来的各种多媒体音视频播放等娱乐软件并行运行，并且很容易在程序间进行切换。

其中，所述自然和谐的交互式科普实验室模块，包括让儿童在虚实结合的实验室中以手势互动方式解剖青娃、制作氢气、驾驭太空飞船等，这种虚实结合实时的体感交不受动作限制，更吸引儿童，更能达到实验目的。

其中，所述实时虚拟交互学习课堂模块，包括儿童在实时虚拟交互学习课堂中以虚拟角色在虚拟课堂中漫游、在虚拟教室里进行互动式的学习，使儿童有身临其境的亲切感，就如同置身于真实的课堂一样，实现富有情感的交互式自主学习、探究学习及交流学习，并随时可与同伴进行协作、交流，主动进行知识意义的建构，有效地完成学习任务，从而有效地实现学习内容中虚拟世界的事物和儿童周围真实环境的结合，加上体感隔空的互动方式，符合儿童天真、好动的心理，使其脱离呆板的学习模式，全身心融入到学习内容之中，促进其手眼协调，开发其智力、锻炼其脑力，促进儿童绿色地学习与健康的成长。

其中，所述交互式多媒体电子书模块，包括将科普图书中原本用文字描述的情节转换为具体形象、活灵活现的科普立体场景，儿童采用手指隔空翻页：五指张开，页面放大；手上下挥动，页面移动；双手合拢，页面关闭……，使儿童在更加自然的操控界面中进行更加自然的人机交互学习。

使用本发明之儿童体感交互式学习系统进行学习的过程中，根据自己需要进行体感交互式学习时，可进行以儿童为中心(Children-Centered)的多模态交互学习或以儿童多媒体感知式((Multimdia Perceptive)的交互学习等自主学习模式。

其中，所述以儿童为中心(Children-Centered)的多模态交互学习自主学习模式，是以儿童对人机交互的需求变化为出发点，充分利用人类多种感觉和效应通道的互补特性，使之可选择地、充分地并行和协作来捕捉儿童的交互学习意图，从而增进儿童交互学习的自然性，交互学习时实现人机交互的外在形式和内部机制都能符合不同儿童的需要，儿童可利用手势、体态、语音等自然方式，不受地点限制地与计算机进行隔空交互，既能满足儿童个性化的需要，又使得儿童不脱离自然社会关系，从而实现以儿童为中心的多模态交互学习。例如：通过模拟驾驶太空飞船的手势来进行漫游交互的操作、通过双手的伸展来达到电子图书的放大缩小等等。

其中，所述以儿童多媒体感知式((Multimdia Perceptive)的交互学习自主学习模式，包括利用智能感知及推理能力对来自儿童感觉和效应通道的交互信号进行识别、集成和协调，并获取儿童动作和行为习惯、偏好及其它相关信息，并以人类易理解的多媒体信息方式为儿童输出交互信息，从而提供不受时空限制而又能最大化的实现个性化交互计算服务，交互信息的内容来自于体感行为与学习资源数据库中不同的媒体，例如科普类图书、期刊、学科课程、数字互动视听出版物，及其相关的视频、儿歌、卡通、3D动画等不同的媒体，体感交互学习行为智能处理模块要进行跨媒体的智能关联性推荐和检索。

本发明可运行在一般家庭现有的PC机系统中，让活泼好动的儿童在学习时能远离显示屏辐射的伤害，通过挥动双手来进行隔空操控，只要在3D红外摄像头所能捕捉的有效范围内，儿童手指的任意移动都能精确地进行位置确认。

利用本发明，可模拟多种智能和真实环境的虚拟空间，实现“无形而又无处不在，有形而又自然和谐”的普适交互方式，儿童能以最自然和“身临其境”的方式来完成所需要的互动学习，使儿童的双手得到了全身心的解放，从而为儿童创造了激发无限想象力的空间。

儿童根据自己需要进行体感交互式学习时，若儿童根据自己需要需进入自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块或交互式多媒体电子书模块时，具体包括如下步骤： 

启动PC主机；

启动交互显示屏； 

启动音箱；

启动儿童学习资源数据库中体感交互式学习软件资源包；

登陆儿童体感交互式学习系统，选择并进入的自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块或交互式多媒体电子书模块；

儿童站在离交互显示屏前面0.8-1.2m的位置的位置，此时体感捕捉与追踪组件自动开启工作，并触发其内部的红外射光发送器以红外线发出人眼看不见的雷射光，透过其镜头前的光栅扩散片将雷射光均匀分布投射在侦测空间中，再透过红外线摄像头和3D景深摄像头记录下空间中的每个散斑，撷取原始数据后，透过红外线摄像头和3D景深摄像头内部的晶片计算成具有3D深度的图像，然后将侦测到的3D深度图像转换到体感交互学习行为智能处理模块，经体感交互学习行为智能处理模块中的体态行为智能分析与处理模块的智能分析与处理后输出儿童体态交互行为动作的数据流，并与儿童体感交互数据库进行关联匹配，经儿童体感交互数据库关联匹配后的数据信号再反馈至交互行为综合处理与智能关联模块，经儿童交互行为综合处理与智能关联模块智能处理后输出交互动作信号，触发学习对象作出与儿童学习行为一致的互动，此时交互显示屏上呈现虚实结合的情景；与此同时体感捕捉与追踪组件中的麦克风和体感交互学习行为智能处理模块中的语音特征智能分析与处理模块、儿童交互行为综合处理与智能关联模块及音箱也进入工作，呈现儿童交互学习过程的语音、操作声响或学习的视频与音频音响；

学习结束时隔空点击结束学习窗口。

儿童体感交互式学习系统融合了现代教育理念，通过体感自然人机交互及机器学习等智能技术，使用本发明，儿童能够以身体最自然的方式通过终端显示屏进行隔空交互学习，能够为儿童提供有沉浸的、交互性强的、形象、生动、活动、健康及富有丰富情感交流的体感交互学习平台，寓教于乐，有利于儿童的身心健康发展。

体感交互技术代表着人机交互技术的发展方向。体现了对人的因素的重视，给人“充分的自由”，标志着人机交互技术从“人适应计算机”向“计算机不断地适应人”方向发展。传统的人机交互技术构建的交互界面事实上成为隔离物质世界和信息世界之间的屏障，采用体感交互技术发明的儿童体感交互式学习系统可使儿童用手势、体态、语音等非接触的自然方式与终端显示屏进行隔空交互学习，能有效地为儿童提供多感觉通道的自然临境体验。

附图说明

图1为本发明儿童体感交互式学习系统的结构示意图。

具体实施方式

下面将结合附图对本发明儿童体感交互式学习系统进行清楚、完整地描述。

首先对本发明提供的儿童体感交互式学习系统进行说明。

参照图1，儿童体感交互式学习系统，包括体感捕捉与追踪组件1、体感交互学习行为智能处理模块2、体感行为与学习资源数据库3、PC主机4、交互显示屏5、音箱6。

所述体感交互学习行为智能处理模块2和体感行为与学习资源数据库3集成在所述PC主机4内。

所述PC主机4分别与所述体感捕捉与追踪组件1、交互显示屏5及音箱6连接；PC主机4与体感交互学习行为智能处理模块2、体感行为与学习资源数据库3双向连接。

所述体感捕捉与追踪组件1为儿童体感捕捉与追踪硬件集成，体感捕捉与追踪组件1内包含有红外雷射光发送器11、红外摄像头12、3D景深摄像头13及2只无指向矩阵麦克风14、15，用于捕捉儿童学习中的体态交互行为(肢体动作)和思维(语音)数据。

所述体感交互学习行为智能处理模块2为内含算法的儿童体感捕捉与追踪的应用软件，体感交互学习行为智能处理模块2内包含有体态行为智能分析与处理模块21、语音特征智能分析与处理模块22、交互行为综合处理与智能关联模块23；体态行为智能分析与处理模块21、语音特征智能分析与处理模块22均与交互行为综合处理与智能关联模块23双向连接；交互行为综合处理与智能关联模块23分别与体态行为智能分析与处理模块21及体感行为与学习资源数据库3中的儿童体感行为数据库31匹配后形成体态交互关联模型；交互行为综合处理与智能关联模块23分别与语音特征智能分析与处理模块22及儿童学习资源数据库32匹配后形成语音交互关联模型。

所述体感行为与学习资源数据库3为儿童体感交互学习行为数据库与根据儿童生理、心理行为和认知特点而精选的多媒体科普百科知识资源库，内包含有儿童体感行为数据库31、儿童学习资源数据库32，用于体感交互学习行为智能处理模块构建关联模型时提供儿童交互学习行为数据和相关学习对象。

所述PC主机4具有儿童体感交互学习功能，体感交互学习行为智能处理模块2和体感行为与学习资源数据库3集成在所述PC主机内，儿童体感行为数据库31包含有儿童体态行为和语音特征数据，形成智慧辨识能力，可有效地理解儿童的肢体动作和语音所代表的交互学习行为的涵义；儿童学习资源数据库32包含有根据儿童的学习需要设计与开发的基于面向对象技术的体感交互式学习软件资源包，如自然和谐的交互式科普实验室、实时虚拟交互学习课堂、交互式多媒体电子书模块等海量的儿童多媒体学习资源。

所述交互显示屏5为PC机通用显示屏，是儿童与体感交互式学习系统、多媒体科普百科知识资源库中学习对象学习交互的界面。

所述音箱6为高保真组合音箱，是用来呈现儿童在交互学习过程的语音及音频信息。

儿童交互学习中的人机互动，是儿童的体态动作与语音的融合方式。

通过调用以上各功能模块的驱动程序，所述儿童学习资源数据库32中包括有基于面向对象技术的体感交互式学习软件资源包，包括根据儿童的学习需要设计与开发的一系列基于面向对象技术的体感交互式学习资源软件模块，如自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块、交互式多媒体电子书模块等。因为PC主机操作系统为多任务系统，所以基于面向对象技术的体感交互式学习软件资源包可以与移植过来的各种多媒体音视频播放等娱乐软件并行运行，并且很容易在程序间进行切换。

所述自然和谐的交互式科普实验室模块，包括让儿童在虚实结合的实验室中以手势互动方式解剖青娃、制作氢气、驾驭太空飞船等。

所述实时虚拟交互学习课堂模块，包括儿童在实时虚拟交互学习课堂中以虚拟角色在虚拟课堂中漫游、在虚拟教室里进行互动式的学习，使儿童有身临其境的亲切感，就如同置身于真实的课堂一样，实现富有情感的交互式自主学习、探究学习及交流学习，并随时可与同伴进行协作、交流，主动进行知识意义的建构，有效地完成学习任务，从而有效地实现学习内容中虚拟世界的事物和儿童周围真实环境的结合，加上体感隔空的互动方式，符合儿童天真、好动的心理，使其脱离呆板的学习模式，全身心融入到学习内容之中，促进其手眼协调，开发其智力、锻炼其脑力，促进儿童绿色地学习与健康的成长。

所述交互式多媒体电子书模块，包括将科普图书中原本用文字描述的情节转换为具体形象、活灵活现的科普立体场景，儿童采用手指隔空翻页：五指张开，页面放大；手上下挥动，页面移动；双手合拢，页面关闭……，使儿童在更加自然的操控界面中进行更加自然的人机交互学习。

使用本发明之儿童体感交互式学习系统进行学习的方法，包括如下步骤：先启动PC主机→启动交互显示屏→启动音箱→启动体感捕捉与追踪组件→启动体感交互学习行为智能处理模块→启动体感行为与学习资源数据库，儿童通过交互显示屏登陆，进入儿童学习资源数据库32中的基于面向对象技术的体感交互式学习软件资源包，根据自己需要进行体感交互式学习。

使用本发明之儿童体感交互式学习系统进行学习的过程中，根据自己需要进行体感交互式学习时，可进行以儿童为中心(Children-Centered)的多模态交互学习或以儿童多媒体感知式((Multimdia Perceptive)的交互学习等自主学习模式。

所述以儿童为中心(Children-Centered)的多模态交互学习自主学习模式，是以儿童对人机交互的需求变化为出发点，充分利用人类多种感觉和效应通道的互补特性，使之可选择地、充分地并行和协作来捕捉儿童的交互学习意图，从而增进儿童交互学习的自然性，交互学习时实现人机交互的外在形式和内部机制都能符合不同儿童的需要，儿童可利用手势、体态、语音等自然方式，不受地点限制地与计算机进行隔空交互，既能满足儿童个性化的需要，又使得儿童不脱离自然社会关系，从而实现以儿童为中心的多模态交互学习。

所述以儿童多媒体感知式((Multimdia Perceptive)的交互学习自主学习模式，包括利用智能感知及推理能力对来自儿童感觉和效应通道的交互信号进行识别、集成和协调，并获取儿童动作和行为习惯、偏好及其它相关信息，并以人类易理解的多媒体信息方式为儿童输出交互信息，从而提供不受时空限制而又能最大化的实现个性化交互计算服务，交互信息的内容来自于体感行为与学习资源数据库3中不同的媒体，例如科普类图书、期刊、学科课程、数字互动视听出版物，及其相关的视频、儿歌、卡通、3D动画等不同的媒体，体感交互学习行为智能处理模块要进行跨媒体的智能关联性推荐和检索。

使用本发明之儿童体感交互式学习系统进行学习的过程中，根据自己需要进行体感交互式学习时，若儿童需进入自然和谐的交互式科普实验室模块，具体包括如下步骤： 

1)启动PC主机4；

2)启动交互显示屏5； 

3)启动音箱6；

4)启动儿童学习资源数据库32中体感交互式学习软件资源包；

5)登陆儿童体感交互式学习系统，选择并进入自然和谐的交互式科普实验室模块；

6)儿童站在离交互显示屏5前面0.8-1.2m的位置，此时体感捕捉与追踪组件1自动开启工作，并触发其内部的红外射光发送器11以红外线发出人眼看不见的雷射光，透过其镜头前的光栅扩散片将雷射光均匀分布投射在侦测空间中，再透过红外线摄像头12和3D景深摄像头13记录下空间中的每个散斑，撷取原始数据后，透过红外线摄像头12和3D景深摄像头13内部的晶片计算成具有3D深度的图像，然后将侦测到的3D深度图像转换到体感交互学习行为智能处理模块2，经体感交互学习行为智能处理模块2中的体态行为智能分析与处理模块21的智能分析与处理后输出儿童体态交互行为动作的数据流，并与儿童体感交互数据库31进行关联匹配，经儿童体感交互数据库31关联匹配后的数据信号再反馈至儿童交互行为综合处理与智能关联模块23，经儿童交互行为综合处理与智能关联模块23智能处理后输出交互动作信号，触发交互式科普实验室模块中的学习对象作出与儿童学习行为一致的相关互动，此时交互显示屏上呈现虚实结合的实验室情景；与此同时体感捕捉与追踪组件1中麦克风14、15和体感交互学习行为智能处理模块2中的语音特征智能分析与处理模块22、儿童交互行为综合处理与智能关联模块23及音箱6相应进入工作，呈现儿童交互学习过程的相应语音、操作声响或学习的视频与音频音响；

7）儿童在虚实结合的实验室中以手势互动方式解剖青娃、制作氢气、驾驭太空飞船……等；音箱中同时发出实验过程中出现的相应的操作声响或学习对象的视频与音频音响；

学习结束时隔空点击结束学习窗口。

使用本发明之儿童体感交互式学习系统进行学习的过程中，根据自己需要进行体感交互式学习时，若儿童需进入实时虚拟交互学习课堂模块进行交互学习，具体包括如下步骤：

1)启动主机4；

2)启动交互显示屏5； 

3)启动音箱6；

4)启动儿童学习资源数据库32中体感交互式学习软件资源包；

5)登陆儿童体感交互式学习系统，选择并进入实时虚拟交互学习课堂模块；

6)儿童站在离交互显示屏5前面0.8-1.2m的位置，此时体感捕捉与追踪组件1自动开启工作，并触发其内部的红外射光发送器11以红外线发出人眼看不见的雷射光，透过其镜头前的光栅扩散片将雷射光均匀分布投射在侦测空间中，再透过红外线摄像头12和3D景深摄像头13记录下空间中的每个散斑，撷取原始数据后，透过红外线摄像头12和3D景深摄像头13内部的晶片计算成具有3D深度的图像，然后将侦测到的3D深度图像转换到体感交互学习行为智能处理模块2，经体感交互学习行为智能处理模块2中的体态行为智能分析与处理模块21的智能分析与处理后输出儿童体态交互行为动作的数据流，并与儿童体感交互数据库31进行关联匹配，经儿童体感交互数据库31关联匹配后的数据信号再反馈至儿童交互行为综合处理与智能关联模块23，经儿童交互行为综合处理与智能关联模块23智能处理后输出交互动作信号，触发实时虚拟交互学习课堂模块中的学习对象作出与儿童学习行为一致的相关互动，此时交互显示屏上呈现实时虚拟交互学习课堂情景；与此同时体感捕捉与追踪组件1中麦克风14、15和体感交互学习行为智能处理模块2中的语音特征智能分析与处理模块22、儿童交互行为综合处理与智能关联模块23及音箱6相应进入工作状态，呈现儿童虚拟课堂学习过程中的相应语音；

7）儿童在实时虚拟交互学习课堂中以虚拟角色在虚拟课堂中漫游、在虚拟教室里进行互动式的学习，使儿童有身临其境的亲切感，就如同置身于真实的课堂一样，实现富有情感的交互式自主学习、探究学习及交流学习，并随时可以通过本发明同步构建的网络虚拟学习社区与同伴进行协作、交流，主动进行知识意义的建构，有效地完成学习任务。

8) 学习结束时隔空点击结束学习窗口。

使用本发明之儿童体感交互式学习系统进行学习的过程中，根据自己需要进行体感交互式学习时，若儿童需进入交互式多媒体电子书模块进行交互学习，具体包括如下步骤：

1)启动主机4；

2)启动交互显示屏5； 

3)启动音箱6；

4)启动儿童学习资源数据库32中体感交互式学习软件资源包；

5)登陆儿童体感交互式学习系统，选择并进入交互式多媒体电子书模块；

6)儿童站在离交互显示屏5前面0.8-1.2m的位置，此时体感捕捉与追踪组件1自动开启工作，并触发其内部的红外射光发送器11以红外线发出人眼看不见的雷射光，透过其镜头前的光栅扩散片将雷射光均匀分布投射在侦测空间中，再透过红外线摄像头12和3D景深摄像头13记录下空间中的每个散斑，撷取原始数据后，透过红外线摄像头12和3D景深摄像头13内部的晶片计算成具有3D深度的图像，然后将侦测到的3D深度图像转换到体感交互学习行为智能处理模块2，经体感交互学习行为智能处理模块2中的体态行为智能分析与处理模块21的智能分析与处理后输出儿童体态交互行为动作的数据流，并与儿童体感交互数据库31进行关联匹配，经儿童体感交互数据库31关联匹配后的数据信号再反馈至儿童交互行为综合处理与智能关联模块23，经儿童交互行为综合处理与智能关联模块23智能处理后输出交互动作信号，触发交互式多媒体电子书模块中的学习对象作出与儿童学习行为一致的相关互动，此时交互显示屏上呈现交互式多媒体电子书的学习内容；与此同时体感捕捉与追踪组件1中麦克风14、15和体感交互学习行为智能处理模块2中的语音特征智能分析与处理模块22、儿童交互行为综合处理与智能关联模块23及音箱6相应进入工作状态，呈现儿童在交互式多媒体电子书模块学习过程中的相应语音；

7）儿童在交互式多媒体电子书的学习过程中，可在活灵活现的科普立体场景中漫游，采用手指隔空翻页：五指张开，页面放大；手上下挥动，页面移动；双手合拢，页面关闭……，并可随时隔空点播与学习对象相关的视频和音频。

8) 学习结束时隔空点击结束学习窗口。

本发明利用体感自然人机交互及机器学习等智能分析技术，为儿童提供了一种新颖的有沉浸性的、交互性强的、形象、生动、活动、健康及富有丰富情感交流的体感交互学习平台，实现儿童多模态交互学习、多媒体感知式等新型自主学习模式，使学习内容中虚拟世界的事物和儿童周围真实环境的有机融合，让儿童在寓教于乐的环境中互动娱乐并认知世界、理解与掌握知识。加上体感隔空的互动方式，符合儿童天真、好动的心理，使其脱离呆板的学习模式，全身心融入到学习内容之中，促进其手眼协调，开发其智力、锻炼其脑力，促进儿童绿色地学习与健康的成长。

本发明提供的儿童体感交互式学习系统及方法可以运行在一般家庭现有的PC计算机系统中，让活泼好动的儿童在学习时能远离计算机辐射的伤害，通过挥动双手来进行隔空操控，只要在3D景深红外摄像头所能捕捉的有效范围内，儿童手指的任意移动都能精确地进行位置确认。

本发明提供的儿童体感交互式学习系统及方法能模拟多种智能和真实环境的虚拟学习空间，实现“无形而又无处不在，有形而又自然和谐”的自然普适交互方式，儿童能以最自然和“身临其境”的方式来完成所需要的互动学习，使儿童的双手得到了全身心的解放，从而为儿童创造了激发无限想象力的空间。

以上所描述的实施例仅仅是本发明儿童体感交互式学习系统一实施例，并不用以限制本发明，凡在本发明的基础上，所作的任何修改、等同替换、改进等，均属于本发明保护范围之内。 

Claims (9)

1.儿童体感交互式学习系统，其特征在于，包括体感捕捉与追踪组件、体感交互学习行为智能处理模块、体感行为与学习资源数据库、PC主机、交互显示屏、音箱；

所述体感交互学习行为智能处理模块和体感行为与学习资源数据库集成在所述PC主机内；

所述PC主机分别与所述体感捕捉与追踪组件、交互显示屏及音箱连接；PC主机与体感交互学习行为智能处理模块、体感行为与学习资源数据库双向连接。

2.如权利要求1 所述的儿童体感交互式学习系统，其特征在于，所述体感捕捉与追踪组件为儿童体感捕捉与追踪硬件集成，体感捕捉与追踪组件内包含有红外雷射光发送器、红外摄像头、3D景深摄像头及2只麦克风，用于捕捉儿童学习中的体态交互行为和思维数据；

所述体感交互学习行为智能处理模块为内含算法的儿童体感捕捉与追踪的应用软件，体感交互学习行为智能处理模块内包含有体态行为智能分析与处理模块、语音特征智能分析与处理模块、交互行为综合处理与智能关联模块；体态行为智能分析与处理模块、语音特征智能分析与处理模块均与交互行为综合处理与智能关联模块双向连接；交互行为综合处理与智能关联模块分别与体态行为智能分析与处理模块及体感行为与学习资源数据库中的儿童体感行为数据库匹配后形成体态交互关联模型；交互行为综合处理与智能关联模块分别与语音特征智能分析与处理模块及儿童学习资源数据库匹配后形成语音交互关联模型；

所述体感行为与学习资源数据库为儿童体感交互学习行为数据库与根据儿童生理、心理行为和认知特点而精选的多媒体科普百科知识资源库，包含有儿童体感行为数据库、儿童学习资源数据库，用于体感交互学习行为智能处理模块构建关联模型时提供儿童交互学习行为数据和学习对象。

3.如权利要求1 所述的儿童体感交互式学习系统，其特征在于，所述PC主机具有儿童体感交互学习功能，体感交互学习行为智能处理模块和体感行为与学习资源数据库集成在所述PC主机内，儿童体感行为数据库包含有儿童体态行为和语音特征数据；儿童学习资源数据库包含有根据儿童的学习需要设计与开发的基于面向对象技术的体感交互式学习软件资源包。

4.使用如权利要求1-3任一项所述儿童体感交互式学习系统进行学习的方法，其特征在于，包括如下步骤：先启动PC主机→启动交互显示屏→启动音箱→启动体感捕捉与追踪组件→启动体感交互学习行为智能处理模块→启动体感行为与学习资源数据库，儿童通过交互显示屏登陆，进入儿童学习资源数据库中的基于面向对象技术的体感交互式学习软件资源包，根据自己需要进行体感交互式学习。

5.如权利要求4所述的使用儿童体感交互式学习系统进行学习的方法，其特征在于，所述儿童学习资源数据库中的基于面向对象技术的体感交互式学习软件资源包，包括根据儿童的学习需要设计与开发的基于面向对象技术的体感交互式学习资源软件模块：自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块、交互式多媒体电子书模块。

6.如权利要求5 所述的使用儿童体感交互式学习系统进行学习的方法，其特征在于，所述自然和谐的交互式科普实验室模块，包括让儿童在虚实结合的实验室中以手势互动方式解剖青娃、制作氢气、驾驭太空飞船。

7.如权利要求5 所述的使用儿童体感交互式学习系统进行学习的方法，其特征在于，所述实时虚拟交互学习课堂模块，包括儿童在实时虚拟交互学习课堂中以虚拟角色在虚拟课堂中漫游、在虚拟教室里进行互动式的学习。

8.如权利要求5 所述的使用儿童体感交互式学习系统进行学习的方法，其特征在于，所述交互式多媒体电子书模块，包括将科普图书中原本用文字描述的情节转换为具体形象、活灵活现的科普立体场景：儿童采用手指隔空翻页：五指张开，页面放大；手上下挥动，页面移动；双手合拢，页面关闭。

9.如权利要求5所述的使用儿童体感交互式学习系统进行学习的方法，其特征在于，儿童根据自己需要进行体感交互式学习时，儿童根据自己需要需进入自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块或交互式多媒体电子书模块时，具体包括如下步骤： 

启动PC主机；

启动交互显示屏；

启动音箱；

启动儿童学习资源数据库中体感交互式学习软件资源包；

登陆儿童体感交互式学习系统，选择并进入的自然和谐的交互式科普实验室模块、实时虚拟交互学习课堂模块或交互式多媒体电子书模块；

儿童站在离交互显示屏前面0.8-1.2m的位置，此时体感捕捉与追踪组件自动开启工作，并触发其内部的红外射光发送器以红外线发出人眼看不见的雷射光，透过其镜头前的光栅扩散片将雷射光均匀分布投射在侦测空间中，再透过红外线摄像头和3D景深摄像头记录下空间中的每个散斑，撷取原始数据后，透过红外线摄像头和3D景深摄像头内部的晶片计算成具有3D深度的图像，然后将侦测到的3D深度图像转换到体感交互学习行为智能处理模块，经体感交互学习行为智能处理模块中的体态行为智能分析与处理模块的智能分析与处理后输出儿童体态交互行为动作的数据流，并与儿童体感交互数据库进行关联匹配，经儿童体感交互数据库关联匹配后的数据信号再反馈至交互行为综合处理与智能关联模块，经儿童交互行为综合处理与智能关联模块智能处理后输出交互动作信号，触发学习对象作出与儿童学习行为一致的互动，此时交互显示屏上呈现虚实结合的情景；与此同时体感捕捉与追踪组件中的麦克风和体感交互学习行为智能处理模块中的语音特征智能分析与处理模块、儿童交互行为综合处理与智能关联模块及音箱也进入工作，呈现儿童交互学习过程的语音、操作声响或学习的视频与音频音响；

学习结束时隔空点击结束学习窗口。

Images