CN109917907B - 一种基于卡片的动态故事板交互方法 - Google Patents

Abstract

本发明公开了一种基于卡片的动态故事板交互方法，首先建立交互系统，标定相机、投影仪，对齐相机坐标系和投影仪坐标系；其次，在虚拟世界中设计故事板：设计虚拟角色及其动作、物理属性；再次，将卡片的运动信息赋给虚拟角色：设置跟踪标识、跟踪卡片运动、计算卡片位置和虚拟角色位置；最后，实现故事。本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性强、趣味性高，可以应用于儿童教育领域。

Description

一种基于卡片的动态故事板交互方法

技术领域

本发明属于结合增强现实技术的人机交互领域，涉及一种基于卡片的动态故事板交互方法。

背景技术

随着触控交互、语音交互、自然语言处理、多模态等技术的发展，人机交互方式已经变得越来越简单。可触交互作为人机交互的一种方式，对儿童来说，不仅提供了动手的机会，还有利于其认知、感知能力的发展。

目前，增强现实的显示技术大致有头戴式、桌面式、手持式和投影式显示等几种。其中，投影式显示技术与可触交互的结合不仅能保证手眼一致，还更加护眼，是一种良好的方案。

传统的故事板是用一系列的图片和语言组成的视觉表现形式，一般通过手绘或电脑绘制来讲故事，故事表现形式单一，不够生动。如能将可触交互和投影式显示技术进行结合，那么动态故事板在能轻松讲出故事的同时，也能锻炼儿童组织能力、语言词汇能力、想象力和记忆力，又能锻炼其认知能力，提高道德判断力，增加生活经验；然而现有技术中没有此类技术方案。

发明内容

本发明的目的是提供一种可触摸的、投影显示的基于卡片的动态故事板交互方法。

为了实现上述任务，本发明采用以下技术方案：

一种基于卡片的动态故事板交互方法，包括以下步骤：

步骤1，交互系统建立及预处理

步骤101，建立交互系统，包括操作平台，操作平台上方通过支架安装有光轴垂直于操作平台表面的相机以及投影仪，相机和投影仪均连接至计算机；

步骤102，标定相机

对相机进行标定，得到相机内参、畸变系数信息；

步骤103，标定投影仪

对投影仪进行标定，得到投影仪的内参、外参和畸变系数信息；

步骤104，对齐世界坐标系、屏幕坐标系与虚拟坐标系

在计算机上安装Unity软件，通过投影仪投射出的图像所在的坐标系为屏幕坐标系，则根据屏幕坐标系中的原点和中心点坐标，以及原点、中心点在Unity软件中的虚拟坐标系中的坐标，确定两个坐标系的几何变换关系；之后根据投影仪的内参、外参和畸变系数信息，得到虚拟坐标系与世界坐标系的几何变换关系；

步骤2，故事板设计

步骤201，设计标识卡片

标识卡片由两部分组成，包括为卡片和设置在卡片上的标识信息，标识信息具有与其一一对应的标签；

步骤202，设计虚拟角色

根据虚拟角色的动作是否直接由标识卡片控制，将虚拟角色分为两类：直接型和间接型；直接型虚拟角色直接通过操作标识卡片来控制，间接型虚拟角色通过操作直接型虚拟角色来控制；

直接型虚拟角色的触发事件分为两类：一是标识卡片的移动，二是交互对象的出现；直接型角色根据不同的触发事件，做出相应的动作，动作分为两类：基础动作、交互动作；

间接型虚拟角色的触发事件为与该虚拟角色进行交互的交互对象的出现，其动作由物理计算决定；

步骤203，设计标识卡片与虚拟角色的对应关系

设计不同的标识卡片，并使每一个直接型虚拟角色与一个标识卡片进行对应；

步骤3，虚拟角色制作及属性设计

步骤301，制作虚拟角色

在Unity软件中利用Anima2D插件制作直接型虚拟角色和间接型虚拟角色；

步骤302，制作直接型虚拟角色的动作

直接型虚拟角色的基础动作由循环播放的动画体现，交互动作由单次播放的动画体现；

步骤303，设置虚拟角色动作的触发事件

在Unity中，首先根据触发事件定义变量，通过脚本访问和更新该变量；然后用该变量表示触发事件，即动画过渡条件；

步骤304，设置间接型虚拟角色动作的物理属性；

步骤305，将标识卡片与虚拟角色进行关联；

步骤4，故事板的实现

步骤401，标识卡片识别

移动平放在所述操作平台的标识卡片，通过相机摄取标识卡片的图像，处理器在摄取的图像中搜索标识，得到识别结果，该识别结果包括是否识别到标识信息、识别到哪个标识信息以及标识卡片在相机坐标系中的旋转和平移向量信息；在摄取的图像中的标识卡片所在位置绘制出一个正方形区域，并显示在计算机的显示器上；

步骤402，计算虚拟角色在虚拟世界的位置

计算标识卡片在世界坐标系中的位置，该位置即标识卡片对应的虚拟角色在世界坐标系中的位置；计算虚拟角色在被投影的屏幕坐标系中的位置，然后计算虚拟角色在虚拟坐标系中的位置；

步骤403，虚拟角色显示

处理器根据是否识别到某一标识信息判断是否显示该标识对应的虚拟角色；根据虚拟角色在虚拟世界的位置，将虚拟角色投影到标识卡片所在的位置；

操作标识卡片，标识卡片对应的虚拟角色会根据触发事件做出相应的动作。

进一步地，步骤103所述的对投影仪进行标定，得到投影仪的内参、外参和畸变系数信息，包括：

在操作平台上放置投影仪标定图像，通过相机拍摄投影仪标定图像并发送给计算机的处理器；之后，在所述操作平台上建立世界坐标系；

处理器结合所述相机的内参、畸变系数信息，将投影仪看作逆向的相机，计算相机外参，包括旋转向量、平移向量信息，计算投影仪内参，包括焦距、光学中心信息，计算投影仪外参，包括旋转向量、平移向量；计算投影仪畸变系数，包括径向畸变、切向畸变。

进一步地，步骤305所述的将标识卡片与虚拟角色进行关联，具体为：

在Unity软件中，通过命名的方式，将标识卡片和其对应的直接型虚拟角色关联起来，从而实现通过操作标识卡片来对直接型虚拟角色进行操作。

本发明具有以下技术特点：

1.设计新颖，采用卡片作为交互手段，达到信息输入的目的，具体是通过相机读取卡片的标识信息，实现信息输入的目的。

2.硬件设备简单且投入成本非常低。

3.提供了一种带有触觉感知的交互方式，直接操作卡片就可以实现交互，操作性强。

4.采用投影仪显示技术，经过漫反射出来的光更加柔和，眼睛看起来不容易疲劳，更加护眼。

5.手眼一致，操作卡片时投影的虚拟角色也随之做出相应的动作，趣味性高，有助于增进交互的自然性。

综上所述，本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性强、趣味性高，将可触交互与增强现实技术结合在一起，使讲故事变得更加有趣。

附图说明

图1为本发明方法的流程框图；

图2为本发明系统的原理框图；

图3为本发明中相机、投影仪的安装位置示意图；

图4为本发明所采用的标识卡片的矩阵码示意图。

图中：1标识卡片，2相机，3计算机，3-1处理器，3-2显示器，3-3存储器，4投影仪，5虚拟角色，6支架，7操作平台。

具体实施方式

如图1所示的一种基于卡片的动态故事板交互方法，包括以下步骤：

步骤1，交互系统建立及预处理

步骤101，建立交互系统，包括操作平台7，操作平台7上方通过支架6安装有光轴垂直于操作平台7表面的相机2以及投影仪4，相机2和投影仪4均连接至计算机3；优选地，所述的相机2、投影仪4的镜头处于同一高度，并且相机2的拍摄视野以及投影仪4的投射视野重叠；

步骤102，标定相机2

在操作平台7上放置相机标定图像，通过相机2拍摄相机标定图像并发送给计算机3的处理器3-1，处理器3-1计算相机2的内参，包括焦距、光学中心等，计算相机2畸变系数，包括径向畸变、切向畸变；之后，将相机2内参、畸变系数信息进行存储，该信息可以用来表示图像坐标系与相机坐标系的几何变换关系；

步骤103，标定投影仪4

在操作平台7上放置投影仪标定图像，通过相机2拍摄投影仪标定图像并发送给计算机3的处理器3-1；之后，在所述操作平台7上建立三维坐标系，即世界坐标系；

处理器3-1结合步骤102中所述相机2的内参、畸变系数信息，将投影仪4看作逆向的相机2，计算相机2外参，包括旋转向量、平移向量信息，该信息可以用来表示相机坐标系与世界坐标系的几何变换关系；计算投影仪4内参，包括焦距、光学中心信息，计算投影仪4外参，包括旋转向量、平移向量；计算投影仪4畸变系数，包括径向畸变、切向畸变；之后，将相机2外参、投影仪4内参、外参和畸变系数信息存入计算机3的存储器3-3内。

投影仪4的内参、外参和畸变系数信息可以用来表示被投影的屏幕坐标系与世界坐标系的几何变换关系。

步骤104，对齐世界坐标系、屏幕坐标系与虚拟坐标系

在计算机3上安装Unity软件，Unity软件中的虚拟坐标系为二维坐标系，通过投影仪4投射出的图像所在的坐标系为屏幕坐标系，则根据屏幕坐标系中的原点和中心点坐标，以及原点、中心点在虚拟坐标系中的坐标，确定两个坐标系的几何变换关系；之后根据投影仪4的内参、外参和畸变系数信息，得到虚拟坐标系与世界坐标系的几何变换关系。

步骤2，故事板设计

步骤201，设计标识卡片1

标识卡片1由两部分组成，分别为卡片本身和标识信息。一个标识信息示例如图4所示，它是ARToolkit的矩阵码标识；每个标识信息有其对应的标签，且是一一对应的。

步骤202，设计虚拟角色5

故事板提供多种虚拟角色5，包括人物、动物、植物等；根据虚拟角色5的动作是否直接由标识卡片1控制，将虚拟角色5分为两类：直接型和间接型。直接型虚拟角色可以直接通过操作标识卡片1来控制；间接型虚拟角色通过操作直接型虚拟角色来控制。

直接型虚拟角色的触发事件分为两类：一是标识卡片1的移动，二是交互对象的出现。所述交互对象即虚拟角色5，包括直接型和间接型虚拟角色两类。直接型角色根据不同的触发事件，做出相应的动作。动作分为两类：基础动作、交互动作。

间接型虚拟角色的触发事件为与该虚拟角色5进行交互的交互对象(直接型虚拟角色)的出现，其动作由物理计算决定。因此，间接型虚拟角色需要设计其物理属性。

以一个故事——二人接抛球为例说明。

人物1和人物2进行接抛球游戏，其中任何一个人物捡到球或者接到球之后可以带球运动，并根据运动轨迹对球施加一定方向和大小的力以进行抛球。该故事中出现的虚拟角色5有三个：人物1、人物2和球。其中，人物1和人物2是直接型角色，由标识卡片1控制，球是间接型角色，由人物1和人物2控制。

人物1和2的基础动作有站立、行走、跑步三种。其中，站立是人物的初始动作。若与人物对应的标识卡片1在水平方向上的移动速度大于行走的阈值时，该虚拟角色5的动作从站立切换到行走；若该速度大于跑步的阈值，该虚拟角色5的动作从行走切换到跑步。类似地，若该速度小于跑步阈值，该虚拟角色5的动作从跑步切换到行走；若该速度小于行走阈值，该虚拟角色5的动作从行走切换到站立。

人物的交互对象为球，交互动作有捡球—带球—抛球和接球—带球—抛球两种。若人物在站立、行走或跑步的某个瞬间与球的距离足够接近(例如小于0.5cm)：当球在人物下方时，人物做出捡球—带球—抛球一系列动作；当球在人物上方时，人物做出接球—带球—抛球一系列动作。

球的动作，即运动轨迹，由物理计算决定。例如，球被人物1或2抛出的瞬间，受到了一个作用力，会做斜抛运动。

步骤203，设计标识卡片1与虚拟角色5的对应关系

设计不同的标识卡片1，并使每一个直接型虚拟角色与一个标识卡片1进行对应；而间接型角色不需要卡片。在步骤202给出的故事示例中，需要两个标识卡片1，分别对应人物1和人物2。

步骤3，虚拟角色5制作及属性设计

步骤301，制作虚拟角色5

在Unity软件中利用Anima2D插件制作虚拟角色5，包括直接型虚拟角色和间接型虚拟角色。

以步骤202所述故事为例，对于直接型虚拟角色人物1和人物2，使用Anima2D插件导入资源、创建并绑定骨骼、制作IK(反向动力学)；对于间接型虚拟角色球，直接在Unity中导入资源。

步骤302，制作直接型虚拟角色的动作

直接型虚拟角色的基础动作由循环播放的动画体现，交互动作由单次播放的动画体现；以步骤202所述故事为例：

根据步骤202所述故事板设计，人物1和人物2的动作有站立、行走、跑步等基础动作和捡球—带球—抛球、接球—带球—抛球等交互动作。在Unity中利用Anima2D制作动画时，通过移动和旋转IK来创建关键帧，通过插值创建中间帧。之后，在Unity中创建人物1和人物2的Animator Controller，一个动画对应一个状态。

步骤303，设置虚拟角色5动作的触发事件

在Unity中，首先根据触发事件定义变量，通过脚本访问和更新该变量；然后用该变量表示触发事件，即动画过渡条件；以步骤202所述故事为例：

首先定义变量Speed，表示人物1的移动速度，并在脚本中及时更新该变量；人物的初始动作为站立，设置从站立到行走的过渡条件为Speed大于等于0.1，从行走到站立的过渡条件为Speed小于0.1，从行走到跑步的过渡条件为Speed大于等于0.5，从跑步到行走的过渡条件为Speed小于0.5；之后，若该变量从0逐渐增加至0.5，则人物会从站立过渡到行走到跑步，若该变量从0.5减小至0.3，人物会从跑步过渡到行走。

步骤304，设置间接型虚拟角色动作的物理属性

间接型虚拟角色的动作由物理计算决定；以步骤202所述基础动作的过渡为例。

在Unity中将Rigidbody2D(2D刚体)组件添加到球上，并设置刚体类型为动力学)、球的质量并开启模拟。通过脚本对球添加作用力使球在物理系统的控制下运动。

步骤305，将标识卡片1与虚拟角色5进行关联

关联关系可以通过命名设置，即通过命名的方式，将步骤203所述的标识卡片1和其对应的直接型虚拟角色关联起来，从而实现通过操作标识卡片1来对直接型虚拟角色进行操作。

例如，设置某张标识卡片1的标识的标签为“boy”，设置对应的直接型虚拟角色的名字为“boy scene”，通过脚本识别标识时，对应的直接型虚拟角色很容易获取。

步骤4，故事板的实现

步骤401，标识卡片1识别

移动平放在所述操作平台7的标识卡片1，通过相机2摄取标识卡片1的图像，处理器3-1执行标识识别脚本对该图像进行实时处理，在摄取的图像中搜索标识，得到识别结果，该识别结果包括是否识别到标识信息、识别到哪个标识信息(标识的标签)以及标识卡片1在相机坐标系中的旋转和平移向量信息。

其中，所述标识卡片1在相机坐标系中的平移向量即该标识卡片1在该相机坐标系中的位置；之后，在摄取的图像中的标识卡片1所在位置绘制出一个正方形区域，并显示在计算机3的显示器3-2上。

步骤402，计算虚拟角色5在虚拟世界的位置

根据相机2成像模型，以及相机2外参信息、步骤401中所述标识卡片1在相机坐标系中的位置信息，计算标识卡片1在世界坐标系中的位置，该位置即标识卡片1对应的虚拟角色5在世界坐标系中的位置。

之后，根据相机2成像模型，以及投影仪4内参、外参和畸变系数信息，和虚拟角色5在世界坐标系中的位置，计算虚拟角色5在被投影的屏幕坐标系中的位置；之后，根据步骤103中所述屏幕坐标系与虚拟坐标系的几何变换关系，计算虚拟角色5在虚拟坐标系中的位置，即该角色在虚拟世界的位置；根据虚拟坐标系与世界坐标系的几何变换关系，得到角色在世界坐标系中的位置。

步骤403，虚拟角色5显示

所述处理器3-1执行相关脚本，获取步骤401所述识别结果，根据是否识别到某一标识信息判断是否显示该标识对应的虚拟角色5；根据步骤402所述的该虚拟角色5在虚拟世界的位置，将该虚拟角色5投影到标识卡片1所在的位置。

操作标识卡片1，标识卡片1对应的虚拟角色5会根据触发事件做出相应的动作，即播放相应的动画；同时，在计算机3的显示器3-2上对投影结果进行实时显示。

Claims (1)

1.一种基于卡片的动态故事板交互方法，其特征在于，包括以下步骤：

步骤1，交互系统建立及预处理

步骤101，建立交互系统，包括操作平台，操作平台上方通过支架安装有光轴垂直于操作平台表面的相机以及投影仪，相机和投影仪均连接至计算机；

步骤102，标定相机

对相机进行标定，得到相机内参、畸变系数信息；

步骤103，标定投影仪

对投影仪进行标定，得到投影仪的内参、外参和畸变系数信息；

步骤104，对齐世界坐标系、屏幕坐标系与虚拟坐标系

在计算机上安装Unity软件，通过投影仪投射出的图像所在的坐标系为屏幕坐标系，则根据屏幕坐标系中的原点和中心点坐标，以及原点、中心点在Unity软件中的虚拟坐标系中的坐标，确定两个坐标系的几何变换关系；之后根据投影仪的内参、外参和畸变系数信息，得到虚拟坐标系与世界坐标系的几何变换关系；

步骤2，故事板设计

步骤201，设计标识卡片

标识卡片由两部分组成，包括为卡片和设置在卡片上的标识信息，标识信息具有与其一一对应的标签；

步骤202，设计虚拟角色

根据虚拟角色的动作是否直接由标识卡片控制，将虚拟角色分为两类：直接型和间接型；直接型虚拟角色直接通过操作标识卡片来控制，间接型虚拟角色通过操作直接型虚拟角色来控制；

直接型虚拟角色的触发事件分为两类：一是标识卡片的移动，二是交互对象的出现；直接型角色根据不同的触发事件，做出相应的动作，动作分为两类：基础动作、交互动作；

间接型虚拟角色的触发事件为与该虚拟角色进行交互的交互对象的出现，其动作由物理计算决定；

步骤203，设计标识卡片与虚拟角色的对应关系

设计不同的标识卡片，并使每一个直接型虚拟角色与一个标识卡片进行对应；

步骤3，虚拟角色制作及属性设计

步骤301，制作虚拟角色

在Unity软件中利用Anima2D插件制作直接型虚拟角色和间接型虚拟角色；

步骤302，制作直接型虚拟角色的动作

直接型虚拟角色的基础动作由循环播放的动画体现，交互动作由单次播放的动画体现；

步骤303，设置虚拟角色动作的触发事件

在Unity中，首先根据触发事件定义变量，通过脚本访问和更新该变量；然后用该变量表示触发事件，即动画过渡条件；

步骤304，设置间接型虚拟角色动作的物理属性；

步骤305，将标识卡片与虚拟角色进行关联；

步骤4，故事板的实现

步骤401，标识卡片识别

移动平放在所述操作平台的标识卡片，通过相机摄取标识卡片的图像，处理器在摄取的图像中搜索标识，得到识别结果，该识别结果包括是否识别到标识信息、识别到哪个标识信息以及标识卡片在相机坐标系中的旋转和平移向量信息；在摄取的图像中的标识卡片所在位置绘制出一个正方形区域，并显示在计算机的显示器上；

步骤402，计算虚拟角色在虚拟世界的位置

计算标识卡片在世界坐标系中的位置，该位置即标识卡片对应的虚拟角色在世界坐标系中的位置；计算虚拟角色在被投影的屏幕坐标系中的位置，然后计算虚拟角色在虚拟坐标系中的位置；

步骤403，虚拟角色显示

处理器根据是否识别到某一标识信息判断是否显示该标识对应的虚拟角色；根据虚拟角色在虚拟世界的位置，将虚拟角色投影到标识卡片所在的位置；

操作标识卡片，标识卡片对应的虚拟角色会根据触发事件做出相应的动作；

步骤103所述的对投影仪进行标定，得到投影仪的内参、外参和畸变系数信息，包括：

在操作平台上放置投影仪标定图像，通过相机拍摄投影仪标定图像并发送给计算机的处理器；之后，在所述操作平台上建立世界坐标系；

处理器结合所述相机的内参、畸变系数信息，将投影仪看作逆向的相机，计算相机外参，包括旋转向量、平移向量信息，计算投影仪内参，包括焦距、光学中心信息，计算投影仪外参，包括旋转向量、平移向量；计算投影仪畸变系数，包括径向畸变、切向畸变；

步骤305所述的将标识卡片与虚拟角色进行关联，具体为：

在Unity软件中，通过命名的方式，将标识卡片和其对应的直接型虚拟角色关联起来，从而实现通过操作标识卡片来对直接型虚拟角色进行操作。

Images