CN108305306B - 一种基于草图交互的动画数据组织方法 - Google Patents

Abstract

本发明公开了一种基于草图交互的动画数据组织方法。本方法为：1)建立面向动画数据草图表征的草图认知模型，基于该草图认知模型建立面向动画数据管理的草图用户界面；2)通过该草图用户界面，以语义网模型和资源描述框架RDF为基础定义动画数据之间的关系，建立描述动画数据关系的交互原语；3)基于情境感知技术和动画数据之间的语义关系，建立动画数据的情境模型；4)通过该草图用户界面对动画数据的情境模型进行编辑，实现对动画数据的组织。对动画数据进行高效的描述和组织，并为动画创作过程中动画数据的检索和重用提供高效的交互方式，加速交互式动画的生成过程。

Description

一种基于草图交互的动画数据组织方法

技术领域

本发明属于人机交互领域，具体涉及一种基于草图交互的动画数据组织方法。

背景技术

近年来，计算机科学技术的飞速发展和互联网的日益普及带动了计算机动画产业的蓬勃发展，计算机动画产业成为了目前增长速度最快的产业之一。据统计，2010年全球动画产业的规模约为1220亿美元，在2016年动画产业规模超过了2440亿美元，年增长率超过12.9％。

在计算机动画产业蓬勃发展的同时，计算机动画数据的爆炸式增长，带给人们丰富的动画数据资源的同时也带来了更艰巨的挑战，如何对计算机动画资源进行描述，如何有效地组织海量计算机动画数据，如何从海量动画数据里找到用户所需的信息，并在用户进行动画创作时对不同的动画数据进行有效地组织、检索和重用已成为计算机动画数据管理的迫切需求。海量的计算机动画数据的有效描述方法和合理组织形式不仅对于计算机动画数据的管理非常重要，而且影响着动画数据的检索速度和重用效率。

然而，目前关于动画数据的数据描述方法和组织形式的研究甚少，在大多数动画产业中都使用传统的关系型数据的方法来存储和管理计算机动画数据。这种方式将计算机动画数据组织成各种动画数据“类别”，并以多种形式存在，例如文本文件、视频文件、纹理文件、图形文件、3D模型文件、场景文件等许多类型。这种基于数据的方法只使用动画数据的低级信息，忽略动画数据之间的内在关系，从而导致高级语义信息的丢失，导致动画数据的管理和重用的效率低下；同时也使得动画创作耗时较长，成本较高，动画数据重用率低。

随着XML和资源描述框架RDF(Resource Description Framework)的引入，语义网不仅只是其提出者Tim-Berners-Lee(参考文献：Berners-Lee T,Hendler J,LassilaO.The semantic web[J].Scientific american,2001,284(5):28-37.)设想的下一代网络基础设施，而是一种能够通过概念及其语义关系来表达知识的网络图模型。语义网模型通常以RDF的形式来描述网络数据。可通过使用语义网的思想作为动画数据描述和组织的核心要素，提高动画数据管理过程中计算机动画数据的模块性、扩展性和重用性，加速交互式动画创作过程。

草图具有简洁性和直观性的优点，能够使用简单的形状来表达人们抽象的思维意图，特别在动画设计过程中草图交互更具有直观、简便的操作优势。基于草图交互的动画数据管理方式，是利用草图绘制、草图手势识别、草图结构识别等技术，实现动画数据的描述、组织和管理，以及交互式动画生成过程中的草图检索、草图推荐等相关功能。

发明内容

本发明的目的在于提供一种基于草图交互的计算机动画数据组织方法，对动画数据进行高效的描述和组织，并为动画创作过程中动画数据的检索和重用提供高效的交互方式，加速交互式动画的生成过程。本发明所提出的主要方法包括建立面向动画数据草图表征的认知模型、基于语义网模型和资源描述框架RDF建立动画数据关系的描述方法、基于情境感知技术建立动画数据组织的情境模型、基于草图交互的动画数据管理和交互式动画生成辅助等。本发明的目标是设计一种动画数据资源的描述方法，利用草图交互方式对动画数据进行描述和组织，提高动画数据的管理效率，并辅助交互式动画生成过程。基于草图交互的动画数据管理的优势在于：描述动画数据之间的关系，保留动画数据之间的语义联系；组织动画数据资源，快速简洁地操纵动画数据；辅助动画创作过程，直观地显示动画创作过程中的思维流程和创作意图。

为实现上述发明目的，本发明采用如下的技术方案：

一种基于草图交互的计算机动画数据组织方法，其步骤为：

1)基于语义网模型和RDF(Resource Description Foundation)资源描述框架研究计算机动画数据之间的关系,并建立动画数据关系的描述方法。传统的关系型数据库是一种结构化的模型，RDF只具有主语、谓语、宾语结构，比传统关系型数据的结构化程度低。因此，RDF能够在展示语义网信息的同时，对语义网中数据的资源、属性、声明和数据之间的关系进行描述，将不同类型的动画数据组织起来。本发明提出的动画数据描述方法以语义网模型和RDF资源描述框架为基础，定义动画数据之间的基本关系，建立描述数据关系的交互原语，在保持动画数据语义信息的情况下，支持将不同类型、不同结构的动画数据组织起来；

2)基于情境感知技术和动画数据之间的关系，建立动画数据的情境模型。本发明利用的情境上下文具体包括：角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等数据类型的动画数据；此情境模型中的动画数据之间关系的定义和描述参照1)中的数据关系的定义和描述，本发明将此情境模型作为对动画数据进行组织、存储和操纵的基本单位；

3)基于草图绘制、草图手势识别等草图交互技术构建面向动画数据草图表征的草图认知模型，基于此认知模型建立面向动画数据管理的草图用户界面。在此草图用户界面中利用自由草图绘制、草图手势识别等草图交互技术，用于实现1)中动画数据语义关系的描述功能与2)中的情境模型操纵。

4)基于3)中建立的面向动画数据的草图用户界面，利用草图结构识别等技术，对2)中提出的动画数据的情境模型进行编辑，实现对计算机动画数据的组织功能；结合流程草图，对动画故事发展情节进行描述；

5)基于3)中建立的面向动画数据的草图用户界面，支持用户进行交互式动画创作，辅助并加速交互式动画生成过程。实现包括动画创作过程中的动画数据编辑、数据关系描述、数据结构组织、草图检索、动画素材数据推荐等相关功能。

进一步的，需要管理的动画数据类型包括：角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等。计算机动画中的各动画数据都具有特定的属性并且各数据之间存在着一定的语义关系，本专利申请基于语义网和RDF同时实现了对动画数据和动画数据之间的关系的管理。

进一步的，基于PMJ认知理论和感知模型分析草图和动画数据的认知机理，建立草图用户界面(技术人员通过软件例如微软的WPF框架接口，就可编写程序并建立草图用户界面；用户通过草图用户界面就可以了解动画数据及动画数据之间的关系，就可以实现获取动画数据信息以及多种信息，如文字、动画、草图等信息的组织方式)，分析用户对信息的感知和处理方式，研究如何从草图用户界面的表现形式和行为中获取动画数据信息以及不同信息合理的组织方式，为基于草图的动画数据描述、组织与交互提供理论指导。

进一步的，RDF的数据模型是一个带标识的有向图，由结点和有向边组成，是一种简单有效的框架体系。基于语义网模型的思想和RDF的描述方式，将动画数据库中数据的关系初步定义为五种基本关系：关联关系(Association)，扩展关系(Extend)，聚集关系(Aggregation)，从属关系(Has-A)，互斥关系(Mutex)。

进一步的，情境感知技术中的交互情境(Context)是交互的客观环境：包括交互的客观物理环境、接口资源、交互设备和交互场景。如图2所示，本发明用于动画数据管理的情境模型具体工作流程如下：首先使用当前情境模型中的所有角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等动画数据和它们之间的关系等语义信息作为输入；然后通过词嵌入技术(Word Embedding)对数据进行预处理，为每个动画数据构造一个词向量(Word Vector)，此词向量能够在保持动画数据语义性的基础上，对数据进行有效的降维；最后利用机器学习相关算法，将当前的词向量与数据库中的词向量进行比较，筛选出与当前情境模型的词向量距离最小的模型，即与当前模型结构上、语义上最相似的模型，并推荐给用户。

进一步的，本发明利用动画数据的情境上下文包括：当前动画数据的情境模型、动画场景数据、相关文本标签、草图注释、关键帧图片等数据。在进行情境模型的增删改查等操作时，动画场景中的所有重要动画数据都作为一个整体进行操作。本发明预定义六种普适的情境模型，包括场景模型、事件模型、时间模型、物品模型、人物模型和情感模型，对应于5W1H原则(Where What When Which Who How)。此外，也支持用户个性化地自定义情境模型，用户可以通过简单的操作创建、修改、删除、查找情境模型。

进一步的，在允许用户进行自由绘制的草图输入的同时，本发明引入Wilches D(参考文献：Wilches D,Figueroa P,Conde A,et al.Sketch-Based Interface foranimation for non-experts[C]//Informatica(CLEI),2012XXXVIII ConferenciaLatinoamericana En.IEEE,2012:1-8.)的草图动画创建方案中部分内容，将草图注释、文本标签等加入情景模型中，同时也对应于RDF框架中的标签有向图模型，方便动画创作人员快速理解剧本的意图，并加快交互式动画创作过程。

进一步的，在动画数据描述和组织的过程中，建立动画数据关系的草图组织结构，利用草图信息和草图形式建立动画数据关系的新型可视化形态，分析动画数据原始数据、过程数据以及结果数据间的数据语义关系；在动画数据信息呈现方面，利用草图形式建立对复杂动画数据的统一描述。

进一步的，草图是一类抽象的、非精确的、体现用户差异性的非结构化数据，情境模型是一种结构，里面包括了各种草图；本发明中涉及的草图分为草图注释、语义草图、流程草图、关联草图、草图手势等。草图注释主要在处理动画数据的第一步添加，与文本注释一起构成动画数据的说明部分；进行在利用语义网模型和RDF资源描述框架分析动画数据之间的关系时生成语义草图，其生成结果与前面的语义网模型对应；流程草图与关联草图在对动画数据进行情境模型处理时生成，用于辅助动画情节理解与动画数据管理；草图手势是一种草图命令，用不同的的草图手势对应于多种不同的命令。本发明对于可视分析活动中反复分析推理过程中产生的具有复杂结构关系的草图信息进行有机整合、组织、呈现与再利用，促进草图对动画数据描述、组织、检索、重用过程的认知作用。

进一步的，草图注释是动画数据(人物造型、角色、场景、关键帧等)的风格化草图表征。与文本、图片等传统形式的动画注释相比，草图注释不但形式简洁抽象，绘制自由度高，而且能过很好地对动态的信息进行表征。草图注释使得用户处理的信息量少，可以快速地获取并理解动画内容，从图片或者动画关键帧中提取草图信息，并且借助于各类的草图符号(如箭头等)对某些动态特征进行描述，从而增强了对动画内容的表征能力和表达效率。

进一步的，语义草图符号提取是草图理解中高层语义推理的基础，从逻辑上可以分为笔划分组和语义符号识别两个部分，前者的任务是确定能够组成完整语义符号的笔划集合，后者识别该集合所代表的语义符号(王晓军.基于贝叶斯网络的草图语义符号提取[D].天津大学,2006.)。本发明涉及的语义草图是草图层面上动画数据逻辑关系的描述，使得用户能够从整体上把握动画数据之间组织结构，此抽象图以顶点和边构成的有向图结构来给出草图所代表的不同动画数据之间的关系(包括关联关系、扩展关系、聚集关系、从属关系、互斥关系等五种基本关系)。语义草图还能够表达动画剧情的演变过程，结合流程草图表征动画动态剧情的发展特征，用户可以通过创建、编辑和删除语义草图进行交互式动画创作辅助。

进一步的，流程草图是动画故事内容的草图摘要，是对动画故事情节发展的一种可视化展现，其可以展现出某个动画场景的动画内容和数据信息，更可以展示出整个动画故事情节的发展概况。通过对该流程草图的绘制和处理，一方面将动画数据合理的组织起来；另一方面，能够对动画创作进行辅助。

进一步的，关联草图由节点、连接线、连接线标注和节点标注构成，节点之间通过连接线相连接。关联草图的节点可以是关键帧、文本标记、草图注释、视频片段等动画数据。关联草图支持对连接线进行个性化绘制，可以通过连接线的个性化特征表示节点之间关联的紧密程度。同时，因为关联草图由节点和连接线连接而成，其具有一定的结构特征，所以在此基础上关联草图支持基于结构的草图交互方法。

进一步的，本发明设计了五种基本的草图手势，用于描述、组织和管理动画数据之间的关系，避免了传统的菜单和按键操作的繁琐和效率低下。具体草图手势设计：用普通的草图线条代表关联关系，线条连接的两个动画数据具有一定类别或者属性的联系；用加粗的草图线条代表扩展关系，扩展关系通常是“一对多”关系；用圆圈手势实现合并操作，代表圆圈内部的动画数据具有聚集关系；用箭头代表Has-a关系，通过绘制从A元素到B元素的箭头，代表元素B属于元素A；用双向箭头代表互斥关系，双向箭头两端的动画数据在属性和类别方面均不兼容，不能同时存在。

本发明的处理流程如图1所示，其主要内容包括：

1、构建面向动画数据草图表征的认知模型和用户界面

(1)草图认知模型

本发明基于动画数据描述、动画数据组织和交互式动画创作过程中的认知过程，提出一种描述动画数据草图表征和交互过程的认知模型，为融合认知的动画数据描述方法和草图交互技术提供理论指导。基于PMJ心理认知模型中的感知、记忆和判断三个阶段，针对动画数据及它们之间关系的描述、组织、存储、重用过程中等不同信息处理阶段和认知层次，分别对应动画数据处理过程中的物理特征处理、动画数据对象分析、语义分析三个阶段，并选择不同的信息管理方法(包括动画数据分类、数据关系构建、情境模型建模、动画数据检索)来处理动画数据，提高动画数据的管理和重用效率。

参考文章(马翠霞，刘永进，付秋芳，刘烨，傅小兰，戴国忠，王宏安，基于草图交互的视频摘要方法及认知分析，中国科学:信息科学，2013，43(08)：1012-1023)，建立本发明提出动画数据的草图认知模型，如图5所示，将动画数据草图表征作为草图认知模型信息的输入输出形式，动画数据的草图表征包括草图事件表征和草图场景表征，其中草图事件表征又分为动画数据对象草图、动画数据行为草图和注释草图。对象草图是语义草图的主体，通过不同的线条表现二维、三维图形的边界；行为草图一般由线条、箭头、曲线等符号组成，通过对对象的概念功能、属性、关系的标记和指示，强调和暗示草图元素之间的关系与边界信息；注释草图则一般由手绘的各类线图组成，涵盖图形、符号以及文本信息，用于评价、提问、解释以及强调等。草图场景表征是动画场景的内容摘要，包括场景布局信息和时空约束信息。

(2)支持动漫数据交互的草图用户界面

用户界面是沟通人脑中的概念模型与计算机的可计算模型之间差异性的桥梁。动画大数据由于其庞大的信息量、数据之间错综复杂的关联关系容易造成用户对信息的认知困难。针对动画数据的特点，研究符合用户认知特性的、适宜于动画数据操纵的用户界面，保证交互任务的顺利完成。基于草图表征分析(包括草图基本子图结构的定义与识别、草图符号特征和草图特征整合，完成动画数据及其关系的信息分析和整合)，构建草图用户界面。

2、基于语义网模型和RDF框架的数据关系描述方法

(1)描述动画数据的语义网模型

本发明在定义动画数据关系的基础上，建立描述动画数据的语义模型。模型自底向上分为：组件层、角色层、场景层和主题层。组件层通常是构成动画的基本数据和基础结构，包括一些基本点、线、面等图元文件、简单的2D形状文件、音频文件等。角色层存储的是动画数据中的主要对象和重点内容，可以按大类分为男角色，女角色，下一级可以按年龄分，比如儿童、少年、青年、中年等等，以此类推；同样，也可以按类别分，比如古装角色、现代角色、魔幻角色、卡通角色等。场景层是动画中的主要场景体现，通常存储了某一动画场景中各角色、物品、配件、静物等动画数据，并且各数据之间存在着一定的关系。场景层最简单的来源是通过对关键帧进行手工标注及分析，获取关键帧中的所有动画数据，并将它们按照其语义关系组织起来。主题层通常包括了同一类主题相关的动画题材和动画作品集合，适用于海量动画数据组织和管理。

数据库中存储的动画数据类型主要包括角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等数据类型，动画数据在数据库中的存储逻辑对应于上述构建的语义网模型的结构。动画数据先按传统的关系型数据库基于常识和习惯的分类方法进行分类存储；在此基础上每个动画数据增加注释标签、场景标签、主题标签，分别关联到此动画数据的相关注释(文本标签、草图注释等)、此动画所属场景和含有此动画数据的所有主题模型。场景元素和主题元素作为两类特殊的动画数据形式，与普通类型的动画数据一样，在数据库中进行独立的存取操作。场景元素中存储了同一动画场景中所有的角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等动画数据；主题元素存储的是主题相同的动画场景的集合。

(2)动画数据关系定义

语义网模型是通过概念及其语义关系来表达知识的一种网络图模型，通常以RDF的形式和本体(Ontologies)的连接关系来描述网络数据。RDF即资源描述框架，能够在语义网模型下对资源进行描述，在较大程度上保存数据的语义信息，使数据能够在语义情境得到应用。RDF的数据模型是一个带标识的有向图，由结点和有向边组成，是一种简单有效的框架体系。

基于语义网模型的思想和RDF的描述方式，将动画数据库中数据的关系初步定义为：关联关系(Association)，扩展关系(Extend)，聚集关系(Aggregation)，从属关系(Has-A)，互斥关系(Mutex)。本发明为当前的动画数据库中的每个动画数据建立一个类别标识序列Category＝{c₁，c₂，...，c_i，...，c_n}和一个属性标识序列Attribute＝{a₁，a₂，...，a_i，...，a_n}，序列中的每一项各自表明了动画数据是否属于该类别或属性，其中，c_i表示动画数据是否属于第i个类别、a_i表示动画数据是否属于第i个属性。每个动画数据的标识序列Identity可由用户手动选择，也可以通过在图片导入时的描述使用NLPIR算法进行分词后自动标注。NLPIR汉语分词系统(http：//ictclas.nlpir.org/)，主要功能包括：中文分词、词性标注、命名实体识别、用户词典功能等。

Identity＝{Category，Attribute}

给定两个动画数据e¹和e²，假设e¹有标识序列Identity¹＝{Category¹，Attribute¹}，e²有标识序列Identity²＝{Category²，Attribute²}，则e¹和e²之间的关系可如下定义：

关联关系Association：元素e¹和e²之间的关联关系可以从两方面定义：其一，e¹和e²具有某一相同的类别。其二，e¹和e²具有某一相同的属性。

A＝{e¹，e²|Category¹＝Category²or Attribute¹＝Attribute²}

扩展关系Extend：如果元素e¹与e²在类别上相同，而在属性上e²是e¹的子集，则称与为扩展关系。

聚集关系Aggregation：如果元素e¹和e²在类别上和属性上均相同，则e¹和e²称为聚集关系。

A＝{e¹，e²|Category¹＝Category²and Attribute¹＝Attribute²}

从属关系Has-a：表示元素的从属关系，设元素e¹由{e²，...eⁱ，..e^m}元素组成，则e¹与{e²，...eⁱ，..e^m}是Has-a关系。如房子里有书桌、椅子、床等，则书桌、椅子、床等动画数据属于房间这一元素。

互斥关系Mutex：元素e¹和e²的类别和属性均不相同，则e¹和e²之间是互斥关系，在同一动画场景中不能同时存在。

A＝{e¹，e²|Category¹≠Category²and Attribute¹≠Attribute²}。

3、基于情境感知技术的动画数据情境模型

本发明提出基于情境感知技术的动画数据情境模型作为一个描述、组织和存储动画数据的基本操作单元。情境模型中包含了一个动画场景中所有的动画数据，即情境上下文主要包括角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等数据类型；所有数据及数据间的关系通过语义草图、流程草图、关联草图等方式组织在一起，并存储于数据库。

(a)模型结构

除了传统的基于数据的描述方法中动画数据有类别属性和身份属性外，本发明表现了动画数据之间的语义联系。为了以更简洁的方式展示故事的内容，根据5w1H原则(Where What When Which Who How)，本发明设计了六种基本情境模型：人物模型，情感模型，时间模型，事件模型，场景模型和物品模型，对应于人物关系图，情感关系发展线索，时间表，事件线索，场景和数据总览表。此六种普适模型在动画管理和生成过程中易于理解和快速使用，用户可以利用此六种基本情境模型模板进行动画数据管理。

此外，可以通过简单的拖拽操作可以快速创建和编辑情境模型，并且本发明还允许用户根据自己的个人需求交互式地自定义情境模型。通过将特定动画情境的所有相关动画数据放置在模型中，并以其内部关系进行组织，为用户快速了解动画故事剧情并加快动画创建过程提供了极大便利。本发明在情境模型中引入了草图注释和文本标签，这与RDF资源描述框架中的注释标签相对应，其中文本标签可由NLPIR中文分词算法预处理得到。

(b)词嵌入技术(Word Embedding)

词嵌入技术的基本思想是对给定文档中的每一个单词得到一个向量表示。先从文本序列中为每个单词构造一组特征(features)，然后再对这组特征进行离散化表示，将词映射到连续低维向量。词嵌入技术与传统的编码技术相比其优势主要在于：(1)大大降低了编码的维度。普通编码方法得到的维度一般是几千到几万维，而词嵌入技术能够对每个单词得到一个对应的100-500维的词向量，为后期的处理提供了极大的便利。(2)能够保持单词的语义相似性。即将语义相似的单词映射到相似的方向，例如构造词向量：

China-Beijing≈UK-London；

male+father≈female+mother；

通过构造词向量，使得词向量维数降低的同时，语义相似的词组间的向量距离尽可能小，语义不相似的词组间的向量距离尽可能大，例如现有词向量对(China，Beijing)，(China，Shanghai)，(UK，London)，则d((China，Shanghai)，(UK，London))＜d((China，Beijing)，(UK，London))。用现有技术例如开源Python语言工具包gensim就能实现词嵌入技术，参考官网(http：//radimrehurek.com/gensim/models/word2vec.html)，

(c)情境模型处理流程

本发明在Mikolov T提出的Word2Vector工具包(Mikolov T，Chen K，Corrado G，et al.Efficient estimation of word representations in vector space[J].arXivpreprint arXiv：1301.3781，2013.)基础上进行改进，建立动画数据的情境模型，对动画数据进行管理，并加速交互式动画创作过程。建立并编辑情境模型的具体操作流程是：

首先使用情境模型中的所有角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等节点数据，加上将文本标签通过NLPIR文本分词技术得到的文本单词，即利用当前情境模型中所有动画数据和其之间的语义关系信息作为情境模型的输入。

第二，情境模型中每个动画数据的词向量由词嵌入技术构成。本发明不仅为文本数据集构建词向量，还为所有其他各种类型的动画数据(例如关键帧，图片，视频剪辑和草图注释等)构建词向量，并依此类推。

最后，使用经典的协同过滤推荐算法将当前情境模型的词向量与数据库中情境模型的词向量进行比较，选择词向量距离最小的3～5个情境模型推荐给用户，即推荐数据库与当前情境模型结构上、语义上最相似的情境模型给用户，辅助交互式动画创作，加快动画创作过程，提高数据的重用率。

4、基于草图交互的动画数据管理

(a)草图标注

本发明草图交互功能贯穿整个数据管理过程，其主要输入包括数据库数据导入和用户输入。用户可以通过简单的拖拽操作将角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等多模态动画数据类型放入画布中，在此基础上绘制流程草图和语义草图，同时手动为动画数据添加文本标签和分类标签。用户在导入动画数据时可以输入文本标签，先通过NLPIR算法对文本标签进行分词处理，再由词袋模型(Zhang，Yin，Rong Jin,and Zhi-Hua Zhou."Understanding bag-of-words model:a statisticalframework."International Journal of Machine Learning and Cybernetics 1.1-4(2010):43-52.)进行过滤得到此数据在数据库中分类存储的类别标签和属性标签，最后将两种标签合并去重处理后随原数据一起存入数据库。此处理有助于为动画数据自动添加草图注释和文本标签，实现动画数据的分类存储。此外，数据的类别标签和属性标签也可以通过草图匹配获得。

(b)草图管理

草图管理主要通过草图手势的交互方式和语义模型建立时关联草图的绘制来对动画数据及数据之间的语义关系进行描述和组织。关联草图是一种点线关联的、具有一定结构的草图，例如用圆圈的草图手势表明圆圈内的动画数据之间具有关联关系，用双向箭头表明箭头两端的动画数据为互斥关系。最后将处理后的动画数据及其之间的语义关系后存入数据库。

对于情境模型的草图管理功能主要涉及基于草图交互的情境模型编辑功能。情境模型的草图交互类似于流程草图的绘制过程，系统预先设定了五种基本草图手势实现对情境模型的新建、删除、修改、查找功能。用户通过选择情境模型模板或导入数据库内的情境模型，可以快速导入大量动画数据，之后对数据和模型进行处理，最后将图片存储进数据库的同时，也将此情景模型存储至数据库中。

5、动画数据检索

本发明的检索功能由两部分组成，分别为基于文本的搜索和基于情景模型的检索方法。

基于文本的搜索首先将文本导入NLPIR分词算法系统，经过分词算法处理后再通过词袋模型过滤得到用户想要搜索的类别标签和属性标签。最后通过此类别标签和属性标签在数据库中进行搜索。例如，用户输入“女巫与猫”，经分词算法处理后得到标签“女巫”“猫”，再将用此标签在数据库中分别搜索“女巫”和“猫”等类别的动画数据。

基于情景模型的检索方法中，用户首先为情境模型中的角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释、视频片段等所有动画数据构造词向量，然后经由协同过滤推荐算法(Sarwar,Badrul,et al."Item-based collaborative filteringrecommendation algorithms."Proceedings of the 10th international conferenceon World Wide Web.ACM,2001.)得到此情景模型的推荐序列。

综上，和现有技术相比，本发明具有的优点和积极效果如下：

1、本发明结合认知心理学，建立面向动画数据草图表征的认知模型和草图界面用户模型；基于语义网模型和RDF框架，定义动画数据之间的基本语义关系。充分考虑动画数据之间内在的语义联系，能够对不同结构、不同类型的动画数据建立统一描述。

2、本发明基于情境感知技术，建立动画数据的情境模型，将此情境模型作为对动画数据进行组织、存储和操纵的基本单位。情境模型作为新型的动画数据组织形式，能够将具有语义关系的数据直观高效地组织在一起，提高交互式动画创作的效率。

3、建立面向动画数据组织和管理的草图交互用户界面，利用自由草图绘制、草图手势识别、流程草图绘制等技术，实现对动画数据关系的描述、对情境模型的编辑等功能；结合流程草图，能够对动画故事发展情节进行高效地描述。

附图说明

图1为本发明的方法流程图；

图2为基于动画数据的情境模型处理流程图；

图3为基于动画场景的情境模型编辑示意图；

图4为基于时间的情境模型示意图；

(a)场景1女巫遇见猫，(b)场景2女巫准备魔法，(c)场景3女巫施法；

图5为动画数据认知模型结构图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明所提供的基于草图交互的动画数据管理方法，但不构成对本发明的限制。

1、选定要处理的动画资源，本示例中部分数据来源于自主构建草图动漫数据库，另一方面数据来自互联网。从现有动画数据素材中选取了“女巫与猫”动画视频片段作为对象；

2、采用前面步骤1所述的方法对该视频片段进行观看，导入动画素材中主要的动画数据到草图绘制画布，同时将数据存入数据库；

3、采用前面步骤2中所述的方法分析动画数据之间的关系，为动画数据添加草图注释和文本标签；

4、采用前面步骤3中所述的基于动画数据的情境模型对动画数据进行组织，组织“女巫与猫”的场景模型，将动画场景中所有的角色、物件、静物放在同一情境模型中，如附图3；

5、采用前面步骤3中所述的基于动画数据的情境模型对动画数据进行组织，组织“女巫与猫”的时间线模型，将时间顺序组织各动画数据中，有助于理解动画片段的故事发展情节，如附图4(a)～(c)；

5、采用前面步骤4、5、6所述的方法，基于草图交互进行动画数据的管理操作，用草图手势表现数据之间的五种语义关系，用流程草图对情境模型进行编辑，以及辅助动画创作。

以上对本发明所述的基于草图交互的动画数据管理方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (7)

1.一种基于草图交互的动画数据组织方法，其步骤包括：

1)建立面向动画数据草图表征的草图认知模型，基于该草图认知模型建立面向动画数据管理的草图用户界面；

2)通过该草图用户界面，以语义网模型和资源描述框架RDF为基础定义动画数据之间的关系，建立描述动画数据关系的交互原语；其中语义网模型包括组件层、角色层、场景层和主题层；动画数据在数据库中的存储逻辑对应于语义网模型的结构；定义动画数据之间关系的方法为：首先为动画数据设置一标识序列Identity＝{Category，Attribute}，其包括类别标识序列Category和属性标识序列Attribute；然后对于两个动画数据e¹和e²，设动画数据e¹的标识序列Identity¹＝{Category¹，Attribute¹}、category¹为动画数据e¹类别标识序列、Attribute¹为动画数据e¹属性标识序列，e²的标识序列Identity²＝{Category²，Attribute²}、Category²为动画数据e²类别标识序列、Attribute²为动画数据e²属性标识序列；如果动画数据e¹和e²具有一相同的类别或e¹和e²具有一相同的属性，则动画数据e¹和e²之间为关联关系；如果动画数据e¹和e²在类别上和属性上均相同，则动画数据e¹和e²称为聚集关系；如果动画数据e¹和e²的类别和属性均不相同，则动画数据e¹和e²之间是互斥关系；如果动画数据e¹和e²具有相同的类别，且e²的属性是e¹属性的子集，则动画数据e¹和e²之间为扩展关系；如果动画数据e¹中包含动画数据e²，则e¹与e²之间为从属关系；

3)基于情境感知技术和动画数据之间的语义关系，建立动画数据的情境模型；

4)通过该草图用户界面对动画数据的情境模型进行编辑，实现对动画数据的组织。

2.如权利要求1所述的方法，其特征在于，建立所述情境模型的方法为：通过词嵌入技术对当前的动画数据以及动画数据之间的语义关系信息进行分词，构造动画数据的词向量；然后将该词向量与数据库中的词向量进行比较，筛选出与该词向量距离最小的词向量，将筛选出的词向量对应的情景模型作为当前的动画数据的情景模型。

3.如权利要求2所述的方法，其特征在于，所述动画数据的类型包括角色、物品、配件、静物、图片、关键帧、动画场景、文本标记、草图注释和视频片段；其中，所述动画场景中的所有设定的重要动画数据都作为一个整体进行操作。

4.如权利要求1所述的方法，其特征在于，所述动画数据的情境上下文包括动画数据的情境模型、动画场景数据、相关文本标签、草图注释和关键帧图片；所述情境模型包括：场景模型、事件模型、时间模型、物品模型、人物模型和情感模型。

5.如权利要求1所述的方法，其特征在于，动画数据之间的关系包括关联关系、扩展关系、聚集关系、从属关系和互斥关系。

6.如权利要求5所述的方法，其特征在于，所述情境模型中包括草图手势；所述草图手势的设计方法为：用草图线条代表关联关系，草图线条连接的两个动画数据具有一定类别或者属性的联系；用加粗的草图线条代表扩展关系；用圆圈手势实现合并操作，代表圆圈内部的动画数据具有聚集关系；用箭头代表从属关系，通过绘制从A元素到B元素的箭头，代表元素B属于元素A；用双向箭头代表互斥关系，双向箭头两端的动画数据在属性和类别方面均不兼容，不能同时存在。

7.如权利要求1或6所述的方法，其特征在于，所述情境模型中还包括草图注释、语义草图、流程草图、关联草图。

Images