CN101620738B - 一种生成多媒体概念图的方法 - Google Patents

Abstract

本发明属于人机交互领域，具体涉及一种生成多媒体概念图的方法。本发明利用数字笔创建概念图，并通过多通道输入多媒体对象，将输入的多媒体信息以概念图的方式组织，生成包含各种多媒体信息的多媒体概念图，同时能够采用笔手势的交互方式编辑多媒体概念图，支持多媒体信息的快速查看。本发明支持用数字笔绘制概念图，模拟传统的记笔记方式，符合用户的习惯，更加自然和高效；本发明支持自动建立手绘概念图节点与多媒体对象之间的关联，将用数字笔创建的概念图转化为多媒体概念图，提高生成多媒体概念图的效率。

Description

一种生成多媒体概念图的方法

技术领域

本发明属于人机交互领域，具体涉及一种生成支持多通道输入的多媒体概念图的方法。

背景技术

概念图是某个主题的概念及其关系的图形化表示，是用来组织和表征知识的工具(参考文献：Novak，J.D.and A.J.The Theory Underlying Concept Maps and How toConstruct Them，Technical Report IHMC CmapTools 2006-01，Florida Institute for Human andMachine Cognition，2006.)。它包括概念和概念之间的关系，使用节点表示概念、连线表示概念之间的关系。概念图由一系列具有时序信息的手绘笔划组成，每个笔划由一组包含二维坐标信息的点序列组成，概念图以直观形象的方式进行表达和思考，非常接近人的自然思维过程。它有助于创造性思维，可以用于表示知识、组织知识、协同与沟通、教育等领域(参考文献：Novak，J.D.Learning，Creating，and Using Knowledge：Concept Maps asFacilitative Tools in Schools and Corporations.Lawrence Erlbaum Associates：Mahwah，NJ，1998.)。关于概念图在上述领域作用的研究正逐渐成为热点。2004年，首届概念图国际会议在西班牙召开，该会议主要侧重于研究如何绘制概念图、概念图在教育、协同等方面的应用、计算机辅助的概念图工具的作用等。目前出现了一些计算机辅助的概念图绘制工具，如MindManager，Inspiration，FreeMind。这些工具主要采用基于键盘和鼠标的交互方式制作概念图，其中一些工具支持包含图片和超链接的多媒体概念图。目前，也出现了基于数字笔的手绘概念图制作方法，可以提取用户用数字笔绘制的概念图中的结构。

人与人之间的交流通过使用多个通道而变得简单，多通道界面也从多个通道的使用中获益，它拓宽了用户到计算机的通信带宽(参考文献：董士海，王坚，戴国忠.人机交互和多通道用户界面[M].北京：科学出版社，1999.)。近年来，随着计算设备的不断发展，越来越多的设备(如智能手机、UMPC、Tablet PC等)开始支持数字笔、语音、视频、图片等类型的输入。人与计算设备之间的交流也可以通过使用多个通道变得更加简单。

目前已有的概念图制作方法，大部分是基于键盘和鼠标的交互方式，部分方法采用数字笔的交互方式。它们并没有充分利用多通道输入的优势。

发明内容

本发明的目的在于利用多通道输入，提供一种生成多媒体概念图的方法，从而提高生成概念图的效率。基于多媒体概念图，用户可以将多媒体信息以概念图的方式组织，从而支持多媒体信息的快速查看。

本发明概念图中的多媒体对象由多个通道采集得到，这些通道既可以是配备数字笔的设备上的通道，也可以是独立的多媒体设备。配备数字笔的设备，如MID(Mobile InernetDevice，移动互联网设备)、PDA(Personal Digital Assistant个人数码助理)、Tablet PC等；独立的多媒体设备，如麦克风、摄像机、相机和摄像头等。

具体来说，本发明的技术方案如下：

1、用数字笔创建包含节点和连线的概念图，同时多媒体设备通过设备驱动程序创建多媒体对象，并保存到音频文件、图片文件或视频文件。

多媒体设备可以是配备了数字笔的设备，也可以是支持采集多媒体对象的设备；本发明创建的多媒体对象包括视频、音频、图片。

保存多媒体文件时，用户可以修改多媒体对象的名称并为多媒体对象手动添加属性(如作者信息、备注等)，以更好的描述多媒体对象，并便于多媒体对象的检索和察看。每个属性的具体内容为文本，文本的添加方式可以采用传统的键盘输入，也可以通过手写输入或语音输入，并将输入识别为文本。

2、采用解析装置解析上述概念图的结构，获得概念图中的节点、连线以及节点连线之间的关系，利用识别装置识别出概念图中节点含义，得到步骤1)创建的概念图节点对应的正规汉字或数字。这里可以通过输入支持多字符识别的识别引擎(如汉王手写识别引擎)进行识别；也可以通过将手绘概念图的一个节点切分为多个字符的装置，进行识别。

解析概念图的方法如图3所示，具体如下：

1)预处理。将绘制的概念图中距离小于某阈值的笔划合并为笔划块，得到由笔划块组成的概念图，并构建表示笔划块间的远近关系的图，创建的图中节点对应笔划块，连线上的值为相邻节点对应的笔划块之间的距离；即构建的图中的节点对应创建的概念图的笔划块，构建图中相邻节点之间的距离对应概念图中笔划块间的距离；

2)图划分为子图。采用图划分的方法(可参考文献：Karypis，G.and Kumar，V.hMETIS：A Hypergraph Partitioning Package(Version 1.5.3)[EB/OL].http://glaros.dtc.umn.edu/gkhome/views/metis/hmetis/download.html.)对预处理得到的图进行分割，将上述表示笔划块间远近关系的图分割为几个子图，从而可以降低提取手绘概念图中节点和连线笔划块的时间复杂度；

3)提取每个子图中的笔划块。采用动态规划的方法提取手绘概念图中的节点笔划块和连线笔划块，由于手绘概念图中节点笔划块密度往往大于连线笔划块、属于同一节点的笔划块的距离小于属于不同节点的笔划块间的距离、节点与连线交替出现，动态规划方法利用了手绘概念图的笔划块密度、笔划块间距离以及笔划块的上下文信息。

4)根据手绘概念图中的笔划块，构建节点和连线笔划块之间是否相邻的关系，解析出概念图的结构。

3、分析创建的概念图与多媒体对象属性之间的关系，查找与概念图节点匹配的多媒体对象，建立多媒体对象与手绘概念图节点之间的关联，因而生成一个包含多媒体对象的多媒体概念图。

多媒体对象的主要属性可以描述为<名称，类型，创建时间，作者信息，备注>。这些属性可以由系统自动设定或者由用户修改得到。多媒体对象的类型包括视频、音频和图片。每类多媒体对象均包括时间属性，且设定与多媒体类型相关的关键词列表。视频相关的关键词包括视频、录像等，音频相关的关键词包括录音、音乐、声音等，图片相关的关键词包括合影、照片、拍照等。其它的关键词可以由用户自由添加。

多媒体对象往往与手绘概念图中的叶子节点相关联。对每个概念图的叶节点，查找其相关的多媒体对象并建立多媒体节点，如图4所示。其过程如下：

1)在多媒体对象的时间属性中查找该叶节点的时间节点，若未找到，则将所有多媒体对象加到候选多媒体对象集合，转步骤2；否则，设定时间节点的时间为该叶节点内容的时间；建立多媒体对象与该叶节点的关联；

2)对候选多媒体对象集合中的每个多媒体对象，将其名称、类型、作者信息、备注等属性以及该多媒体对象类型相关的关键词分别与叶节点的识别结果进行匹配。若叶节点的识别结果与多媒体对象的某个属性存在相同的字或词，则建立该多媒体对象与当前叶节点的关联；若叶结点识别结果与某多媒体对象的所有属性均无相同的字或词，则该叶节点与该多媒体对象之间无关联；

3)建立与叶节点相关的多媒体对象与叶节点间的关联，即为创建的概念图节点添加多媒体对象的缩略图，并提供缩略图指向多媒体对象的链接。缩略图的一种定义如下：音频对象的缩略图对应音频对象的名称，图片对象的缩略图为缩小的图片，视频对象的缩略图为视频第一帧对应的缩小的图片。多媒体节点关联的对象的可视化效果可以由用户定义的其它方式，如呈现每个多媒体对象的名称。指向多媒体对象的链接可以在用户点击多媒体对象缩略图的时候，用相应的多媒体播放器打开多媒体对象文件进行察看。

进一步，本发明还可以采用笔手势对生成的多媒体概念图进行编辑，如删除节点、移动节点、交换节点、放缩等。笔手势是指由数字笔的笔划作为控制命令，与多媒体概念图交互。不同的笔手势对应不同的交互含义。笔手势的识别可以采用常用的Rubine手势识别算法(参考文献：Rubine D.Specifying gestures by example.ACM SIGGRAPH ComputerGraphics，1991，25(4)，329-337.)和易于实现的$1手势识别算法(参考文献：Wobbrock，J.O.，Wilson，A.D.and Li，Y.Gestures without libraries，toolkits or training：a$l recognizer for userinterface prototypes.In Proc.UIST 2007，159-168.)。

综上，和现有技术相比，本发明具有的优点和积极效果如下：

1、本发明支持用数字笔绘制概念图，采用笔手势的交互方式操纵多媒体概念图，模拟传统的记笔记方式，符合用户的习惯，更加自然和高效。

2、本发明支持多个交互通道的输入，得到各种多媒体信息，从而可以生成包含各种多媒体信息的多媒体概念图。

3、本发明支持自动建立手绘概念图节点与多媒体对象之间的关联，将手绘概念图转化为多媒体概念图。

附图说明

图1本发明生成多媒体概念图的示意图。

图2本发明多媒体对象的建立过程。

图3本发明解析概念图的流程图。

图4本发明多媒体对象与手绘概念图节点之间建立关联的过程。

图5本发明一个手绘概念图的实例及由本发明提取的结构和含义。

(a)为创建的概念图；(b)为解析后的概念图。

图6加入缩略图的多媒体概念图实例。

图7本发明编辑多媒体概念图的实例图。

(a)删除节点；(b)节点交换；(c)放大节点；(d)缩小节点；(e)粘贴节点。

图8本发明概念图编辑的节点交换手势。

图9本发明具体实施例生成的多媒体概念图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，下面采用一个具体的实施例来对本发明作进一步的详细说明。以配备了数字笔、摄像头和麦克风的MID多媒体设备为例。

用数字笔在MID上创建了一个为期一天的某会议计划的概念图(如图5(a)所示)。MID通过解析装置解析上述创建的概念图结构，分别采用预处理、图划分为子图、提取笔划块和生成概念图结构四个阶段，获得用户创建的概念图结构(如图5(b)所示)。之后，通过手写识别引擎对手绘概念图的节点进行识别，得到手绘概念图节点的含义(如图5(c)所示)，并获得概念图中的节点、连线以及节点连线之间的关系。这样，用户解析出的概念图结构能够被MID所理解。

在会议当天，用户为整个会议创建了一些多媒体内容。如上午开会的时候，用户为会议录制了视频；会议结束的时候，用户为所有参会者留影作为纪念。这些多媒体内容通过使用MID或者其它设备(如摄像机)采集并保存。

会议结束后，这些多媒体内容被导入到MID上。用户编辑这些多媒体对象，修改视频名字为“会议录像”，对照片(名称为“IMG_0001.jpg”)未做任何修改。用户打开最初的手绘概念图，通过时间属性建立多媒体对象与手绘概念图中节点的关联，得到多媒体概念图(如图6所示)。由于视频的创建时间为10:35，它与多媒体概念图中节点“10:30”连接的叶节点“开会”在时间上较为接近，且页节点的识别结果“开会”与“会议录像”是相关的，因此录像与“开会”自动建立关联。而叶节点“合影”的时间为17:30，照片的拍摄时间为17:25，两者的时间间隔较小。另外，叶节点的识别结果“合影”与图片相关的关键词中的“合影”一致。因而，照片与叶节点“合影”建立关联。为可视化多媒体对象与手绘概念图节点间的关联，在概念图节点右侧显示多媒体对象的缩略图。“开会”后面显示的是“会议录像”视频的第一帧对应的图像的缩略图。“合影”后面显示的为照片的缩略图。通过点击缩略图，可以进行多媒体信息的详细浏览。

本发明可以采用笔手势的交互方式对建立的多媒体概念图进行编辑整理。笔手势为用数字笔绘制的笔划作为控制命令。图7表示了一些笔手势的实例，包括删除节点、节点交换、放大、缩小、粘贴手势，其中用圆圈圈中的点为笔手势的起始点。这些笔手势需要作用在已选中的待操作的对象上。图8示例了用户使用节点交换手势将两个节点对换的情况。用户若希望交换多媒体概念图中的两个节点，首先需要选中一个待交换的节点，之后在另外一个待交换的节点上完成节点交换手势，则两个节点将互换。即若要将10:30开会的节点与13:00开会的节点交换，首先选中10:30开会的节点，并在13:00开会的节点上做交换的笔手势，就完成了节点交换。多媒体概念图将更新其结构，反映节点交换后的多媒体概念图。

本实施例对建立的多媒体概念图实现编辑后，得到了如图9所示的一个多媒体概念图，其中图中一些节点包含了图片和视频内容。

以上对本发明所述的生成多媒体概念图的方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (7)

1.一种生成多媒体概念图的方法，其步骤包括：

1)用数字笔创建包含节点和连线的概念图，同时利用多媒体设备创建多媒体对象，保存在多媒体设备上；

2)采用解析装置解析上述概念图结构，获得概念图的节点、连线及节点连线间的关系，利用识别装置识别出概念图中节点对应的汉字或数字；

解析概念图结构的方法为：

2a)概念图中距离小于一定阈值的笔划合并为笔划块，以概念图的笔划块为节点，相邻笔划块间的距离为节点连线值，构建表示笔划块间关系的图；

2b)采用图划分的方法将上述表示笔划块间关系的图分割为几个子图；

2c)采用动态规划的方法提取各子图中节点笔划块和连线笔划块；

2d)以提取的节点笔划块和连线笔划块，构建节点和连线笔划块之间的相邻关系，解析出概念图结构；

3)通过匹配多媒体对象的属性与概念图节点识别结果的关系，建立多媒体对象与概念图节点间的关联，生成多媒体概念图，所述关联是指在概念图节点添加多媒体对象的缩略图，所述匹配多媒体对象的属性与概念图节点识别结果关系的步骤为：

3a)将概念图叶节点相邻节点的时间节点与多媒体对象的时间属性分别进行匹配；若一叶节点相邻节点的时间节点与多媒体对象的时间属性相同，则设定时间节点的时间为该叶节点的时间；建立多媒体对象与该叶节点的关联；

3b)否则将概念图叶节点的识别结果分别与每个多媒体对象的名称、类型、作者信息和备注属性以及该多媒体对象类型相关的关键词进行匹配；

若一叶节点识别结果与多媒体对象的一属性相同，则该多媒体对象与当前叶节点关联。

2.如权利要求1所述的一种生成多媒体概念图的方法，其特征在于：步骤2)中所述识别装置为支持多字符识别的识别引擎或具有切分概念图节点分为多个字符的装置。

3.如权利要求1所述的一种生成多媒体概念图的方法，其特征在于：采用笔手势对上述步骤3)生成的概念图进行编辑，所述编辑方法包括删除节点、交换节点、放大缩小节点及粘贴节点。

4.如权利要求1所述的一种生成多媒体概念图的方法，其特征在于：所述多媒体设备为配备了数字笔的设备或支持采集多媒体对象的设备。

5.如权利要求4所述的一种生成多媒体概念图的方法，其特征在于：所述多媒体设备包括MID、PDA、Tablet PC、麦克风、摄像机、相机和摄像头。

6.如权利要求1所述的一种生成多媒体概念图的方法，其特征在于：所述多媒体对象包括音频、图片和视频。

7.如权利要求1所述的一种生成多媒体概念图的方法，其特征在于：步骤3)中所述音频对象的缩略图为音频对象的名称，图片对象的缩略图为缩小的图片，视频对象的缩略图为视频第一帧对应的缩小图片。

Images