CN102999153A - 基于自然人机交互的二维数据对象控制系统及其方法 - Google Patents

Abstract

本发明涉及一种基于自然人机交互的二维数据对象控制系统及其方法，其中系统包括自然人机交互设备、计算机数据库、场景控制模块、角色控制模块和计算机显示输出装置；方法包括：根据场景切换控制指令和时间顺序依次显示数字化场景及其二维数据对象；根据每个场景中的从自然人机交互设备获取的角色控制指令动态显示对应二维数据对象的动态演示数据或言语动画数据，其中：每一场景中用户通过人机交互设备输入的控制指令与二维数据对象有明确的对应关系。应用本发明可允许用户依故事情节做出各种肢体动作进行表演同时利用人机交互设备控制故事中的数字化角色对象做出相应动作，从而促进儿童的语言表达能力、肢体表达能力、创造力和想象力。

Description

基于自然人机交互的二维数据对象控制系统及其方法

技术领域

本发明涉及计算机辅助表演和儿童讲故事表演，具体涉及一种基于自然人机交互的二维数据对象控制方法。

背景技术

(一)人机交互技术的研究进展及应用

自然人机交互技术应用非常广泛，可以说有计算机系统的地方就有人机交互。人机交互技术，要以人为本，无论如何发展，最终都要以用户为中心。所谓自然，就是要满足人的自然属性，这种属性应该是具有人的习惯和本质的精神属性。自然人机交互的目的，就是要最大限度地方便人类对于产品的使用，从而减少使用产品的过程中可能带来的混乱与复杂，而不是让人为了产品去改变原有的习惯。人与人的交流可以通过语言、手势、眼神、动作等，自然人机交互的发展方向就是通过人的这些最自然习惯来实现人机交互。因此，语音识别技术、手势识别技术、人脸识别技术、视线跟踪技术、人体动作识别技术等成为当前人机交互技术的重要研究内容。

语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术，也就是让机器听懂人类的语音。语音识别系统不需要对用户进行特殊的说明，用人最自然的方式进行人机交互，并且这种方式无需记忆、使用方便，设备造价低廉。语音识别技术有许多优点，同时也面临许多困难，主要表现在：语音识别对环境依赖性强，当人声发生很大变化、不同人的语音、说话方式、环境噪音等等，都会给识别带来困难。虽然语音识别技术还面临许多困难，但它可以将手工操作的工作用语音命令控制完成，可广泛用户家电语音遥控、玩具、智能仪器及移动电话等便携设备中。

手势识别技术就是通过手或者手和手臂结合所产生的各种姿势和动作，进行人机交互。手势识别系统可分为基于数据手套的手势识别和基于视觉的手势识别系统。基于数据手套的手势识别系统，识别率高但设备昂贵。基于视觉的手势识别系统，输入设备比较便宜，能够使用户更加自然地进行人机交互，但手的运动速度、手势变换的速度都会影响到手势识别系统的准确率，同时手在各种不同背景、环境下也大大的增加了手势识别的难度。

人脸识别技术就是指利用计算机技术对包含人脸的静止图像或视频寻列图像进行分析，从中提取人脸的个性化特征，并以此自动识别出人的身份。以隐蔽操作，采用非接触式采集，没有侵犯性，可保存当事人的面像具有方便、快捷、强大的事后追踪能力，图像采集设备成本低，符合人类的识别习惯，交互性强且不易仿冒。但当人脸发生较大的变化时，就很难识别。

视线跟踪技术就是采用一定眼动信号检测设备及视线跟踪算法监视人眼运动，为用户应用系统提供必要精度的人眼状态信息。它可通过最直接、最自然的方式让人与机器进行交互，行动不方便的人通过这种方式可以进行正常的人机交互。虽然视线跟踪技术有着诱人的前景，但是视线跟踪技术还处于起步阶段，还未达到实用化阶段。

人体动作识别就是通过人体的姿态和动作过程的识别，进行人机交互。人体动作识别通过人的自然地肢体语言进行交互，不需要特定的仪器和规定，输入设备比较便宜。但是，受到动作的速度、视角、光照等环境因素的不同，准确度不同。

自然人机交互技术应用越来越广泛，尤其是在电子游戏和教育软件中的应用。电子游戏最开始的输入方式来自于计算计键盘，后来衍生出的专业电子游戏机以手柄或操作台的形式来进行电子游戏内容。后来，随着科技进步以及增强玩家游戏体验的需要，相关的游戏公司开发出了专业化，特异化的游戏输入设备以及大型街机游戏项目。近年来，一种新兴的游戏风靡全球，这就是体感游戏，其突破以往单纯以手柄按键输入的操作方式，通过肢体动作变化进行操作游戏，这种游戏适合于各个年龄、各种文化差异的人群使用。体感游戏基本都是以“游戏手柄”的形式协助游戏，通过嵌入式的技术植入电视机、手机等终端显示来完成体感游戏的终端技术对接。

(二)儿童教育软件的现状

随着人机交互的自然性越来越强，在教育软件中的应用也越来越多，特别是在儿童教育软件中，人机交互显得极为重要。要想开发出很好的儿童教育软件，首先要知道儿童的心理特征。儿童无法很好的控制自己的行为和心理过程，易受到外界影响，他们是以直观表象的形式来认识外界事物，在进行想象时，多以再造性想象为主体，创造性想象很少。儿童知识经验贫乏，无法自主地正规地进行学习，游戏就成了儿童的主要活动形式。游戏这种活动形式的优点在于，通过游戏，幼儿可以逐步地增加他们的知识经验，在创造性的游戏中可以锻炼儿童的想象力，此外，在游戏中儿童不需要过多地约束自己，他们只以游戏为目的而不以学习为目的，不会给儿童带来太大的负担，而且多个感觉通道同时参与时，有助于儿童更好的记忆所学习的内容。

儿童的世界是童话的幻想的世界，童话的幻想世界远比现实要美丽和有趣。在这个虚幻的世界里，儿童可以上天入地，可以打破时空的局限，可以想象一切现实世界中不可能做到的荒唐的、神秘的事情。而故事的大胆空灵的想象和惊人的夸张，为儿童提供了可供儿童尽情表演的一个虚幻的大舞台。故事能稳定儿童的情绪，能促进儿童语言、智力的发展，在听故事、讲故事的过程中，幼儿不断地学习故事中的规范语言，学习把话说清楚并富有表现力，这对他们清楚、准确的发音，连贯性的语言的发展是十分有意义的。

目前，市场上已有一些带有人机交互功能的讲故事系统。这些已经产品化的系统主要有三种：(1)一种是系统预先将故事按情节录入语音，并为每个情节设计场景和人物图，用户可以看图听故事，并自己选择讲故事的节奏；(2)一种是系统将故事按情节设计为若干情节图，用户按故事发展顺序选择情节图，自己讲故事，该系统还可以通过触摸等简单的人机交互控制场景中的人物做预先设计好的简单的动作；(3)还有一种是系统提供故事情节图，用户可以自己讲故事并录入到系统中，然后配合情节图听自己讲故事。第一种讲故事的系统，虽然在听故事的同时观看图片，让用户比较真实具体的看到故事情景，但是静态图片吸引用户的注意力较短；第二种讲故事系统，虽然在第一种的基础上增加了一定的交互性，但是这种系统需要在触摸屏幕的手机或电脑中使用，交互设备的局限性，很难让用户产生身临其境的感觉；最后一种讲故事系统，虽然比第一种增加了一定交互性，和录入功能，但用户只单纯用语言表达故事，缺乏交互性，从而趣味性略差。本文实现的讲故事游戏系统展示场景、人物，用户可以通过自然人机交互设备控制场景中的主要人物，使讲故事的人变为故事中的人物，由单纯的讲故事变为表演故事。在表演故事的过程中，用户不仅仅需要用语言讲故事，还需要肢体的配合，有时还需要展开自己的想象力，从而使得讲故事本身更加有趣味性、更加富有创造力。

发明内容

本发明需要解决的技术问题是，如何提供一种基于自然人机交互的二维数据对象控制系统及其方法，能控制二维数据对象进行人物/角色辅助表演，尤其满足儿童讲故事的表演需要，提升他们的想象力和创造力。

本发明的第一个技术问题这样解决：构建一种基于自然人机交互的二维数据对象控制方法，其特征在于，包括以下步骤：

通过自然人机交互设备接收用户的场景切换控制指令，并根据该指令和当前场景从场景队列中读取下一个数字化场景，然后通过计算机显示输出装置显示所述数字化场景；

根据当前场景在计算机数据库中查找对应的数字化二维数据对象，然后通过计算机显示输出装置显示所述查找到的数字化二维数据对象；

通过自然人机交互设备接收用户的角色行动控制指令，并根据该指令和当前场景在计算机数据库中查找当前场景中对应数字化二维数据对象的动态演示数据，然后通过计算机显示输出装置显示所述查找到的动态演示数据；

通过自然人机交互设备接收用户的角色会话控制指令，并根据该指令和当前场景在计算机数据库中查找当前场景中对应数字化二维数据对象的言语动画数据，然后通过计算机显示输出装置显示所述查找到的言语动画数据；

其中：每一场景中每一用户通过各自人机交互设备控制各自对应二维数据对象。

按照本发明提供的控制方法，所述场景队列包括位于队头的片头字幕或场景，还包括位于队尾的结束字幕或场景；除所述队头和队尾外，所述场景队列中数字化场景是静态图片或无交互控制的动态背景。

按照本发明提供的控制方法，还包括从场景队列或计算机数据库中读取当前场景对应的背景音乐，然后通过计算机声音输出装置播放。

按照本发明提供的控制方法，还包括从计算机数据库中读取当前显示动态演示数据对应的音效，然后通过计算机声音输出装置播放。

按照本发明提供的控制方法，还包括定义编辑选择所述场景队列中的数字化场景，或者定义编辑选择所述计算机数据库中的数字化二维数据对象、动画演示数据或言语动画数据。

本发明的另一个技术问题这样解决：构建一种基于自然人机交互的二维数据对象控制系统，包括用于接收用户控制指令的自然人机交互设备，其特征在于，还包括：

计算机数据库：用于存储数字化二维数据对象、数字化二维数据对象的动态演示数据或数字化二维数据对象的言语动画数据；

场景控制模块：用于根据用户场景切换控制指令和当前场景从场景队列中读取下一个数字化场景，并控制计算机显示输出装置显示输出；

角色控制模块：用于根据用户角色控制指令和当前场景从计算机数据库中读取数字化二维数据对象、动态演示数据或言语动画数据，并控制计算机显示输出装置显示输出；

计算机显示输出装置：用于显示输出所述数字化场景、所述数字化二维数据对象、动态演示数据或言语动画数据。

按照本发明提供的控制系统，还包括声音输出装置：用于播放所述场景控制模块读取的背景音乐或者所述角色控制模块读取的所述动态演示数据或言语动画数据对应音效。

按照本发明提供的控制系统，所述自然人机交互设备包括但不限制于是体感手柄控制器，如：任天堂公司的“Wii”控制器。

本发明提供的基于自然人机交互的二维数据对象控制方法，通过连接的自然人机交互设备控制故事中的人物角色、用户用自己的语言和肢体动作对故事进行讲解和表演的数字化讲故事系统。它主要是面向儿童所开发的一个软件系统，让儿童在讲故事的过程中，开动脑筋、展开想象，从而促进儿童的语言表达能力、肢体表达能力、创造力和想象力。

附图说明

下面结合附图和具体实施例进一步对本发明进行详细说明：

图1是本发明系统结构示例图；

图2是本发明技术实现架构示意图；

图3是本发明场景交互流程示意图；

图4是本发明猫走路的简单动态示意图；

图5是本发明穿靴子猫走路的简单动态示意图；

图6是本发明场景一猫的言语动画示意图；

图7是本发明场景一猫的交互流程一示意图；

图8是本发明场景一猫的交互流程二示意图；

图9是本发明场景一猫的交互流程三示意图；

图10是本发明场景一猫的交互流程四示意图；

图11是本发明场景一猫的交互流程五示意图；

图12是本发明侯爵走路的简单动态示意图；

图13是本发明侯爵的交互流程一示意图；

图14是本发明侯爵的交互流程二示意图；

图15是本发明侯爵的交互流程三示意图；

图16是本发明场景二猫的言语动画示意图；

图17是本发明场景二猫的交互流程一示意图；

图18是本发明场景二猫的交互流程二示意图；

图19是本发明场景二猫的交互流程三示意图；

图20是本发明场景二猫的交互流程四示意图；

图21是本发明国王走路的简单动态示意图；

图22是本发明国王的交互流程一示意图；

图23是本发明国王的交互流程二示意图；

图24是本发明国王的交互流程三示意图；

图25是本发明场景三猫的交互流程一示意图；

图26是本发明场景三猫的交互流程二示意图；

图27是本发明场景三猫的交互流程三示意图；

图28是本发明场景三猫的交互流程四示意图；

图29是本发明马车的交互流程一示意图；

图30是本发明马车的交互流程二示意图；

图31是本发明马车的交互流程三示意图；

图32是本发明场景四猫的交互流程一示意图；

图33是本发明场景四猫的交互流程二示意图；

图34是本发明场景四猫的交互流程三示意图；

图35是本发明食人魔的交互流程二示意图；

图36是本发明场景六猫的交互流程一示意图；

图37是本发明场景六猫的交互流程二示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

首先，说明本发明想法和目的：

本发明通过自然人机交互设计与实现的数字化讲故事方法，它是一个通过连接的自然人机交互设备控制故事中的人物角色、用户用自己的语言和肢体动作对故事进行讲解和表演的讲故事数字化软件系统。在系统设计中，选用的软件平台“Flash”，可以保证高质量的画面，对儿童极有吸引力，选用的硬件设备Wii控制器，相对现有的鼠标、键盘等人机交互设备来说，它更接近人的自然动作，易操作，儿童完全可以控制。在系统设计实现过程中，根据儿童的心理特点和年龄特点，对低龄儿童场景和次要角色均为静态图片，这样可以让儿童的视觉焦点都在人物上，不容易分散注意力，对较大龄儿童场景和次要角色可选择动态图片，以便于情节更为复杂的故事的表演；在设计人物语言表达的时候，均通过图片表示，这样既能吸引听故事儿童的目光也能让讲故事儿童有一个语言表达能力的训练。希望儿童在体验之后，语言表达能力、肢体表达能力、创造力和想象力都能有所提高。进一步还可以增加更多的功能模块，比如儿童可以自己挑选人物、挑选场景等，组织成自己的故事，同时系统还可以提供人物的服装、道具等，让儿童设计出自己喜欢的人物，从而增加趣味性，提高儿童的创造力和审美能力。

这样实现了用户操作故事角色来表演故事的效果，使听故事的人变为故事中的人物，由单纯的讲故事变为表演故事。在表演故事的过程中，用户不仅仅需要用语言讲故事，还需要肢体的动作，有时还需要展开自己的想象力，从而使得讲故事本身更加有趣味性、更加富有创造力，也使儿童在讲故事过程中提高语言表达能力、肢体表现能力和想象力。对于观看表演故事的人来说，故事内容、故事情节更容易理解，人物形象更加生动、活泼，也提高了观看的趣味性。

第二，简要说明本发明具体实现：

一般来说，讲故事的对象都是儿童。儿童易受外界的影响，具体形象性思维占主导地位，而抽象逻辑思维只是刚刚开始发展，创造性比较差。互动是比较适合儿童的活动形式，因为互动可以逐步地增加他们的知识经验，在创造性的互动中可以锻炼儿童的想象力，为以后的生活和学习奠定基础，同时多个感觉通道同时参与的情况有助于幼儿的记忆。儿童在听故事的时候，喜怒哀乐等情绪跟着生成发展，同时对情绪管控及脑部智商发育也有相当显著的影响。在听故事的过程中，还可以激发儿童的想象力，并且有助于提高儿童的语言表达能力。但是在传统的讲故事模式中，儿童只是单纯的听故事或边听边看故事，注意力很难长时间的集中。

本发明的基于自然人机交互的数字化讲故事方法面向儿童用户。借助计算机的力量，将儿童讲故事的模式变得更加丰富多彩、生动活泼。本发明则通过相对较自然、操作较简单的自然人机交互设备让儿童融入到故事中，化身为故事中的某个角色，用自己的语言和身体语言等多种感觉通道与故事中的场景、角色相配合，进行故事表演。

如图1所示，本发明基于自然人及交互的数字化讲故事系统主要分为两个模块——数字化故事模块和用户表达故事模块：

数字化模块，是用户通过自然人机交互设备对数字化模块进行操作的模块，从而实现故事场景切换、数字化角色表演；

用户表达故事模块，是用户通过用户自己对故事的理解，用语言和肢体动作进行表演的模块，该模块可调动用户的参与积极性，从而使得讲故事更具有交互性和趣味性。

如图2所示，本发明基于自然人机交互的数字化讲故事系统的关键点包括：

选择适合的软件平台和硬件平台，软件平台选择“Flash”，自然人机交互设备的硬件平台选择“Wii”控制器；

场景/角色分为动态场景角色和静态场景角色，主要是根据故事的情节、人物关系发展进行设计定义。通过故事中每个场景的故事情节，设计出场的人物和人物的动作。故事中没有过多的文字说明，即使人物的想法、语言也都用图片的形式进行展示，以达到吸引用户目光、给用户足够的语言表现的空间；

自然交互控制，针对故事中人物的动作进行交互控制，将人物的动作通过交互设备，用最接近人的习惯行为的控制方式进行交互控制，让用户在肢体表演的同时也能够控制数字化的人物。

第三，下面结合故事“穿靴子的猫”详细说明本发明具体实施例：

(一)故事介绍

从前有个年轻人，父亲留给他的遗产就是一只猫。虽然这只猫不起眼，但是它不仅帮他的主人得到了巨大的财产，还让他娶到了最美的公主。

场景一：

年轻人因为得到了一直不值钱的猫作为财产，很是难过。猫看穿了主人的心思，便走过去对主人说：“我的主人，你用不着垂头丧气，只要你给我一个口袋，再让人给我做一双能穿着它在树丛中走动的靴子就行了。你也会发现，你分得的这份财产并不是那么糟糕。”这个年轻人对猫的话将信将疑，但是还是按照猫说的将它要的东西准备齐全了。猫拿到靴子后，马上就穿在了脚上。它将口袋悬挂到脖子上，用爪子将口袋上的绳子勒紧，然后走掉了。

场景二：

第一天，猫带着它打到战利品来到王宫里求见国王。猫被引领到楼上国王的房间，只见它卑躬屈膝地对国王说：“尊敬的国王陛下，我仅代表卡拉巴司侯爵向您敬献他最珍爱的兔子。”这只猫竟然自作主张将它的主人封为卡拉巴司侯爵。国王看见很是高兴，便对猫说：“告诉你的主人，很感谢他的礼物。我很高兴他能惦记着我。”第二天，猫又带着它打到战利品来到王宫里求见国王。同第一天一样，它将自己打来的猫头鹰献给国王并说这是它的主人命它献上的。国王高兴地收下了这份礼物，还给了猫一点儿赏钱。猫在两三个月里持续不断地以卡拉巴司侯爵的名义向国王进献不同的礼物，当然这些礼物都是它利用口袋和靴子获得的。

场景三：

终于，有一天，猫得知国王将要带着宝贝公主到河边游玩，那个公主可是世上独一无二的大美女。猫对它的主人说：“如果你能照着我说的话做，你的好运气就会来了。很简单，你只要脱光了跳到河里我指定的那个地方去洗澡就行了，其他的事情由我来安排。”卡拉巴司侯爵虽然不知道猫的葫芦里到底装的什么药，但他还是照猫说的去做了。当他跳到河里猫指定的那个地方去洗澡的时候，只听猫扯着嗓子朝国王经过的方向大声呼救：“快来人啊！救命啊！卡拉巴司侯爵掉到河里了！”国王听到呼救声立刻从马车窗户里探出头来，他认出了那只猫，就是经常去给他送礼物的那只猫，于是，国王让侍卫赶紧去将卡拉巴司侯爵救上岸来。猫立即凑到国王跟前解释说，它的主人遭到抢劫，衣服全被小偷偷走了，尽管它在一边大喊，可是，小偷还是把侯爵扔到了河里。事实上，猫把它主人的衣服藏到了一块大石头下面。国王立刻派随他的服装师去挑选了一套华丽的服装送给卡拉巴司侯爵。

场景四：

国王看到穿上了华丽衣服的侯爵十分喜爱，侯爵本来就生得眉清目秀，再加上有这么漂亮的衣服衬托，愈发显得英俊潇洒，连公主都对他一见倾心了。国王见此就邀请侯爵上车，同他们一起乘坐马车游玩。

场景五：

猫眼见着事情进展得如此顺利，便兴高采烈地急速跑到前面去了。它对路边一些正在割草的农夫和收麦子的农民说：“听着，如果你们不对国王说这片草地属于卡拉巴司侯爵的话，你们就会被剁成肉酱。”当然，当国王问及这些割草人这是谁的草场时，他们都慑于猫的恐吓，异口同声地说：“这是属于卡拉巴司侯爵的。”国王对卡拉巴司称赞道：“你的这份家产不错呀！”就这样，猫一路在前面走着，所到之处，它全用这样的恐吓让国王认为这一切都属于卡拉巴司侯爵。国王对他的富有不禁惊叹不已。

场景六：

最后，猫来到一座气派的宫殿，那里住着一个吃人的魔鬼，他可是这里最富有的人，刚才他们一路经过的那些草场和麦田等都是食人魔的地盘。猫还通过刚才那些人仔细了解了谁是食人魔，他有什么本事等等。现在，猫来到了食人魔的宫殿里，他要求拜见这个食人魔。食人魔接见了这只猫。“我听说，”猫对食人魔说，“您的本事可大了，能将自己变成各种动物，比如说狮子啊大象啊什么的，是真的么？”“当然是真的了。”食人魔很认真地回答，“好吧，为了让你相信，我就变个狮子给你看看。”于是，食人魔变成了一只狮子。不久，食人魔恢复了原形，猫表现得非常害怕的样子。“我还听说，”猫喘着气小声说，“您还能将自己变成个很小的动物，像老鼠耗子似的。但是，我可不相信，您这样的身材怎么能变得那么小呢！”“什么？不相信？”食人魔大声喊道，“等着瞧吧！”说完，他就变成了只小耗子。猫见状一下就扑过去，将耗子吞进了肚里。

场景七：

就在这时，国王也已经来到了城堡外面。猫立即跑出来，笑容可掬地迎接国王：“欢迎光临，尊敬的国王陛下，欢迎您到卡拉巴司侯爵的城堡来！”“什么？”国王看到如此气派的城堡也是侯爵的财产，竟然惊呼起来，“连这座城堡也是你的呀！这可是我见过最美丽的庭院和建筑了！”国王见侯爵这么富有而且公主也对他一见倾心，就将自己的女儿许配给了他。

当天，侯爵和公主就举行了婚礼，从此过上了幸福的生活。猫也成了大人物，即便见到它捉老鼠也只是消遣而已。

(二)关键点

该具体实施例选用的人机交互设备是“Wii”控制器。由于故事的需要，连接两个Wii控制器，分别控制各个场景中的同时出现的两个角色。

用户1的角色控制如表1所示，控制的角色有侯爵、国王、马车：

表1

用户2的角色控制如表2所示，控制的角色是猫：

表2

角色行动控制(在场景中前后左右行走)对应的是Wii控制器的前后左右晃动，这种控制是人比较自然反应，对于儿童这个操作群体来说比较简单、自然；角色言语动画控制对应的是Wii控制器的按键2，因为角色说话是在特定的情节才会出现，使用的按键位置相对比较自然同时也能提示用户特定情节角色才会说话；场景跳转控制(场景切换控制)对应的是Wii控制器的“+”键，此按键在Wii控制器的中间位置，相对不自然，因为在所有角色都表演完才会跳转到下一场景，是最特殊的情节才会触发，设计在此位置是为了不让用户随便触发以致使得故事表演不完整。除了以上这些，用户1控制的猫换装对应的是Wii控制器中的按键1，按键1比按键2相对靠中间位置，因为猫的换装只有一次也是在特定时情节才会触发。用户1控制的食人魔变换形态和用户2控制的猫吃食人魔对应的是Wii控制器中的击打状态，是因为这两个动作都是夸张的动作，用户用力晃动控制器以达到表演的效果，同时也可增加表演的趣味性。

(三)场景交互流程

场景交互流程如图3所示，具体包括：

讲故事开始，首先进入片头场景。片头场景中，首先以淡入的效果逐个字显示故事的名称，待显示完全后，以淡入的效果逐个显示猫、侯爵、公主、和国王，食人魔的显示是由大变小的进入，以显示食人魔的威力，而食人魔显示完成后猫稍作晃动显示猫的聪明。

片头场景播放完后，为其注册事件监听机制，当用户按下Wii控制器中的“+”键时，跳转(切换)到下一场景即场景1，每个场景均注册一个事件监听机制，场景跳转监听如前。场景之间的切换不设有任何的切换效果，同时全部使用静态的场景，不带有任何动画效果，这是因为儿童的注意力不容易集中，任何的新鲜或动态的事物都会吸引他们的注意，如果使用动态场景那么儿童的注意就会集中到场景中，对于人物角色的语言表达和肢体动作表演的关注就会大大降低，从而失去了提高语言表达能力、肢体表现能力和想象能力的意义。

跳转到最后一个场景即结束场景时，将侯爵和公主显示在窗口中央，以“The End”动画字样环绕，并在字样上添加蝴蝶飞入，表现侯爵和公主的幸福生活，场景最前方猫在拿着老鼠走来走去，以表现猫的生活状态——捉老鼠也只是消遣。

(四)角色交互流程

本发明具体实施例的主要角色有猫、公爵、国王、食人魔，其他动态的角色有马车、人物言语动画。其中猫、公爵、国王、马车可以在场景中用控制器控制在舞台中左右前后行走，食人魔要通过控制器控制在场景中变换形态，人物言语要在人物说话时通过控制器控制出现。

场景一：

场景一中需要交互的角色有两个，一个是公爵，一个是猫。猫在场景一中需要走动、与侯爵对话同时需要将要来的包和靴子穿在身上，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动、说话、换装。侯爵在场景一中需要走动，所以设计侯爵的交互功能有触发公爵的简单动态、在场景中前后左右移动。如何用Wii控制器控制人物如表1和表2所示。

猫走路的简单动态：

在第一帧注册事件监听，当用户触发人物行走事件时该元件从第一帧开始播放至循环到第一帧停止，如图4和5所示。

当触发言语事件时，显示猫的言语动画，如图6所示。

场景一中猫的交互设计具体实现：

首先猫以未穿靴子的形象出场，注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走；当用户触发言语事件时，猫的言语图片显示，再次触发时言语图片消失；当用户触发换装事件时，未穿靴子的猫换装为穿靴子的猫，触发人物行走事件时，穿靴子的猫向左、右、前、后行走，触发言语事件时不再显示言语图片。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2，交互流程如图7、8、9、10和11所示。

侯爵走路的简单动态：

在第一帧注册事件监听，当用户触发人物行走事件时该元件从第一帧开始播放至循环到第一帧停止，如图12所示。

场景一中侯爵的交互设计具体实现：

在场景1中，侯爵以猫主人的形象出场，在场景1中注册事件监听机制，当用户触发人物行走事件时，侯爵向左、右、前、后行走。侯爵每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到场景边界，就不再移动。如何用Wii控制器控制人物如表1所示，交互流程如图13、14和15所示。

场景二：

场景二中需要交互的角色有两个，一个是国王，一个是猫。猫在场景二中需要走动、与国王对话，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动、说话。国王在场景二中需要走动，所以设计国王的交互功能有触发国王的简单动态、在场景中前后左右移动。如何用Wii控制器控制人物如表1和表2所示。

当触发言语事件时，显示猫的言语动画，如图16所示。

场景二中猫的交互设计具体实现：

在场景二中，猫以穿靴子的形象出场，注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走；当用户触发言语事件时，猫的第一个言语图片显示，再次触发时第一个言语图片消失，再次触发时，猫的第二个言语图片显示，再次触发时第二个言语图片消失，再次触发时，猫的第三个言语图片显示，再次触发时第三个言语图片消失。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2所示，交互流程如图17、18、19和20。

国王走路的简单动态：

在第一帧注册事件监听机制，当用户触发人物行走事件时该元件从第一帧开始播放至循环到第一帧停止，如图21所示。

场景二中国王的交互设计具体实现：

在场景二中，国王出场，注册事件监听机制，当用户触发人物行走事件时，国王向左、右、前、后行走。国王每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到场景边界，就不再移动。如何用Wii控制器控制人物如表1，交互流程如图22、23和24。

场景三：

场景三中需要交互的角色有两个，一个是猫，一个是马车。猫在场景三中需要走动、与国王对话，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动、说话。马车在场景三中需要走动、国王需要说话，所以设计马车的交互功能有触发马车在场景中左右移动、车里的国王说话。如何用Wii控制器控制人物如表1和表2所示。

场景三中猫的交互设计具体实现：

场景三中，猫以穿靴子的形象出场，在场景三中注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走；当用户触发言语事件时，猫的言语图片显示，再次触发时言语图片消失。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2所示，交互流程如图25、26、27和28所示。

场景三中马车的交互设计具体实现：

在场景三中，马车出场，注册事件监听机制，当用户触发人物行走事件时，马车向左、右行走。马车每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到场景边界，就不再移动。当用户触发言语事件时，出现国王的语言图片，再次触发时语言图片消失。如何用Wii控制器控制人物如表1所示，交互流程如图29、30和31所示。

场景四：

场景四中需要交互的角色有两个，一个是国王，一个是猫。猫在场景四中需要走动，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动。国王在场景四中需要走动，所以设计国王的交互功能有触发国王的简单动态、在场景中前后左右移动。如何用Wii控制器控制人物如表1和表2所示。

场景四中国王的交互设计具体实现：

场景四中，国王出场，注册事件监听机制，当用户触发人物行走事件时，国王向左、右、后、前行走。国王每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表3.1，交互流程如图22、23和24所示。

场景四中穿靴子的猫的交互设计具体实现：

场景四中，猫以穿靴子的形象出场，在场景四中注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2所示，交互流程如图32、33和34所示。

场景五：

场景五中需要交互的角色有两个，一个是猫，一个是马车。猫在场景五中需要走动、与农民对话，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动、说话。马车在场景五中需要走动，所以设计马车的交互功能有触发马车在场景中左右移动。如何用Wii控制器控制人物如表1和表2所示。

场景五中猫的交互设计具体实现：

场景五中，猫以穿靴子的形象出场，在场景五中注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走；当用户触发言语事件时，猫的言语图片显示，再次触发时言语图片消失。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2所示，交互流程如图25、26、27和28所示。

场景五中马车的交互设计具体实现：

在场景五中，马车出场，注册事件监听机制，当用户触发人物行走事件时，马车向左、右行走。马车每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到场景边界，就不再移动。如何用Wii控制器控制人物如表1所示，交互流程如图29和30所示。

场景六：

场景六中需要交互的角色有两个，一个是食人魔，一个是猫。猫在场景六中需要走动、吃掉食人魔，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动、吃掉食人魔。食人魔在场景六中需要变换形态，所以设计食人魔的交互功能有触发食人魔的形态变换。如何用Wii控制器控制人物如表1和表2所示。

场景六中食人魔交互设计具体实现：

在场景六中，马车出场，注册事件监听机制，当用户触发变换形态事件时，食人魔变换形态。如何用Wii控制器控制人物如表1所示，交互流程如图35所示。

场景六中猫的交互设计具体实现：

场景六中，猫以穿靴子的形象出场，在场景六中注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走；当用户触发吃老鼠事件时，检测食人魔是否变为老鼠，如果变成老鼠就吃掉食人魔，若未变成老鼠则不作任何操作。如何用Wii控制器控制人物如表2所示，交互流程如图33、34、36和37所示。

场景七：

场景七中需要交互的角色有两个，一个是国王，一个是猫。猫在场景七中需要走动，所以设计猫的交互功能有触发猫走路的简单动态、在场景中前后左右移动。国王在场景七中需要走动，所以设计国王的交互功能有触发国王走路的简单动态、在场景中前后左右移动。如何用Wii控制器控制人物如表1和表2所示。

场景七中国王的交互设计具体实现：

场景七中，国王出场，注册事件监听机制，当用户触发人物行走事件时，国王向左、右、后、前行走。国王每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表1，交互流程如图22、23和24所示。

场景七中穿靴子的猫的交互设计具体实现：

场景七中，猫以穿靴子的形象出场，在场景七中注册事件监听机制，当用户触发人物行走事件时，猫向左、右、前、后行走。猫每次移动时都要执行碰撞检测和场景边界检测，如果碰撞到场景中的其他角色或到达场景边界，就不再移动。如何用Wii控制器控制人物如表2所示，交互设计流程如图32、33和34所示。

(五)实验结果与实现效果

本发明具体实施例在“MacBook 881”计算机上实现，所采用的软件平台是“Flash”，编程语言是“Actionscript 3.0”，此外还采用了“Wii”控制器作为人机交互设备，实现了较为自然的人机交互，获得了良好的表演效果。

在运行该软件时，最好采用投影仪，将场景画面投影到大屏幕，在一定程度上营造沉浸式的用户环境，使讲故事的小朋友可以将自己的语言和肢体动作与数字化的人物场景相结合，通过Wii控制器根据故事情节、自己的想象表演故事。

Claims (8)

1.一种基于自然人机交互的二维数据对象控制方法，其特征在于，包括以下步骤：

通过自然人机交互设备接收用户的场景切换控制指令，并根据该指令和当前场景从场景队列中读取下一个数字化场景，然后通过计算机显示输出装置显示所述数字化场景；

根据当前场景在计算机数据库中查找对应的数字化二维数据对象，然后通过计算机显示输出装置显示所述查找到的数字化二维数据对象；

通过自然人机交互设备接收用户的角色行动控制指令，并根据该指令和当前场景在计算机数据库中查找当前场景中对应数字化二维数据对象的动态演示数据，然后通过计算机显示输出装置显示所述查找到的动态演示数据；

通过自然人机交互设备接收用户的角色会话控制指令，并根据该指令和当前场景在计算机数据库中查找当前场景中对应数字化二维数据对象的言语动画数据，然后通过计算机显示输出装置显示所述查找到的言语动画数据；

其中：每一场景中每一用户通过各自人机交互设备控制各自对应二维数据对象。

2.根据权利要求1所述控制方法，其特征在于，所述场景队列包括位于队头的片头字幕或场景，还包括位于队尾的结束字幕或场景；除所述队头和队尾外，所述场景队列中数字化场景是静态图片或无交互控制的动态背景。

3.根据权利要求1所述控制方法，其特征在于，还包括从场景队列或计算机数据库中读取当前场景对应的背景音乐，然后通过计算机声音输出装置播放。

4.根据权利要求1所述控制方法，其特征在于，还包括从计算机数据库中读取当前显示动态演示数据对应的音效，然后通过计算机声音输出装置播放。

5.根据权利要求1所述控制方法，其特征在于，还包括定义编辑选择所述场景队列中的数字化场景，或者定义编辑选择所述计算机数据库中的数字化二维数据对象、动画演示数据或言语动画数据。

6.一种基于自然人机交互的二维数据对象控制系统，包括用于接收用户控制指令的自然人机交互设备，其特征在于，还包括：

计算机数据库：用于存储数字化二维数据对象、数字化二维数据对象的动态演示数据或数字化二维数据对象的言语动画数据；

场景控制模块：用于根据用户场景切换控制指令和当前场景从场景队列中读取下一个数字化场景，并控制计算机显示输出装置显示输出；

角色控制模块：用于根据用户角色控制指令和当前场景从计算机数据库中读取数字化二维数据对象、动态演示数据或言语动画数据，并控制计算机显示输出装置显示输出；

计算机显示输出装置：用于显示输出所述数字化场景、所述数字化二维数据对象、动态演示数据或言语动画数据。

7.根据权利要求6所述控制系统，其特征在于，还包括声音输出装置：用于播放所述场景控制模块读取的背景音乐或者所述角色控制模块读取的所述动态演示数据或言语动画数据对应的音效。

8.根据权利要求6所述控制系统，其特征在于，所述自然人机交互设备是体感手柄控制器。

Images