CN103970820B - Web多媒体资源开放标注数据的可视化方法及装置 - Google Patents

Abstract

本发明公开了一种Web多媒体资源开放标注数据的可视化方法，包括：从数据源获取Web多媒体资源开放标注的序列化格式数据；将序列化格式数据解析成RDF三元组集；将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。本发明还公开了一种Web多媒体资源开放标注数据的可视化装置。本发明提供的Web多媒体资源开放标注数据的可视化方法及装置可直观表示符合W3C《开放标注数据模型规范》的Web多媒体资源开放标注数据，有利于该规范的有效实施。

Description

Web多媒体资源开放标注数据的可视化方法及装置

技术领域

本发明涉及数据可视化技术领域，尤其涉及一种Web多媒体资源开放标注数据的可视化方法及装置。

背景技术

尽管当前万维网（World Wide Web，简称Web）上包含了海量的各种格式的多媒体（multimedia）资源，并且其数据量一直在不断增长，但是，与文本和数值等传统内容格式的Web资源相比，图像、音频与视频等多媒体资源还是Web的“二等公民”。导致这种局限性的原因是：一方面，多媒体资源必须嵌入到其他Web资源（如HTML网页），依靠“plugin”软件的交互与解码后，其视听内容才能被Web用户所使用；另一方面，传统的Web基础设施难以有效支持用户对Web多媒体资源的标识、描述、发现与访问。给Web多媒体资源附上元数据或描述信息，即所谓的多媒体标注（multimedia annotation），将有助于实现Web多媒体资源的索引、检索、访问与利用。

早期的Web多媒体标注主要借助多媒体元数据标准（如MPEG-7、Dublin Core、VRN等）来实现，但是这种基于元数据标准的多媒体标注方法（本文称为“第一类标注方法”）存在很多缺陷：（1）内容描述性元数据的高层特性需要手工创建，因而内容生产者因费时费力而不愿意对多媒体资源进行标注；（2）多媒体元数据标准太多，它们的元数据模型与词汇集各异，因而难以实现不同领域与应用之间的互操作性；（3）多媒体元数据标准大多采用基于XML的（语法的）元数据模型，本质上也无法提供基于语义的内容描述，即无法实现语义标注（semantic annotation）。

大约从2005年开始逐步兴起的Web2.0应用（如：共享图像资源的Flickr、共享视频资源的YouTube、共享音频资源的Last.fm）展现了多媒体资源生产、标注与消费的另一幅图景。Web2.0网站用户是多媒体内容及其描述信息的生产消费者（prosumers-bothproducers and consumers）。需求驱动的大众参与和用户协同为多媒体标注的研究带来了新的思路。然而，这种基于Web2.0社交软件的多媒体标注方法（本文称为“第二类标注方法”）也存在明显的缺陷：（1）用户生产的标注主要是文本标签（tags）或注释（comments），是一种低质量的、不确定的、无形式语义的元数据，无法复用，更无法实现跨社区的交换与共享；（2）各种社交软件的标注模型各异，而且均是相互间无法有效交互的封闭系统，其中的标注数据被“锁住”，不是Web可直接访问的。

随着下一代语义网（Semantic Web）（参见http://www.w3.org/2001/sw/）或更广义的数据网（Web of Data）（参见http://www.w3.org/2013/data/）技术的逐步成熟及广泛应用，基于语义的、机器可处理的多媒体内容描述已成为Web多媒体标注的追求目标。语义网的统一资源标识符（URI）、资源描述框架（RDF）、本体语言（OWL）等新颖Web基础设施，为Web数据资源（包括多媒体资源）的标识、描述、共享、复用与交换提供了一个具有语法与语义互操作性的、可扩充的公共框架。学术界开始探讨如何在语义网上进行多媒体语义标注，一系列在多媒体元数据标准基础上构建的多媒体本体（multimedia ontology）陆续出现，基于多媒体本体的标注工具也陆续开发出来。但是，这种基于本体的多媒体语义标注方法（本文称为“第三类标注方法”）仍存在很多缺陷：（1）各种多媒体本体大多是为特定的多媒体元数据标准提供语义描述，因此相互之间仍缺乏互操作性；（2）各种标注框架采用各自专用的标注模型，缺乏可扩展性与可交换性，导致产生的标注数据无法共享与复用；（3）基于元数据标准的多媒体本体要么缺乏对媒体片段（media fragments）的标识机制，要么其媒体片段标识采用非HTTP URI机制（即Web不可访问）。

Web多媒体标注技术现状的以上不足表明，多媒体资源能否以“一等公民”身份进入语义网或数据网不仅关乎多媒体标注领域，同时也关乎相关Web基础设施的进一步完善升级。事实上，万维网联盟（W3C）作为Web基础设施规范与技术标准的制订者，一直在这方面不断地努力着。W3C最先于2005年启动了“语义网上多媒体标注（Multimedia Annotationon the Semantic Web）”特别行动组，2008年又正式成立了“Web视频行动计划（Video inthe Web Activity）”（参见http://www.w3.org/2008/WebVideo/），该行动计划下的“媒体标注工作组（Media Annotations Working Group）”（参见http://www.w3.org/2008/WebVideo/Annotations/）已于2012年2月9日颁布了《媒体资源本体1.0标准》（Ontologyfor Media Resources 1.0），该标准定义了一个通用的多媒体标注本体（简称“MA本体”，其名空间是http://www.w3.org/ns/ma-ont#，名空间前缀为ma:），其中的类和属性可用于语义描述多媒体资源；该行动计划下的“媒体片段工作组（Media Fragments Working Group）（参见http://www.w3.org/2008/WebVideo/Fragments/）已于2012年9月25日颁布了《媒体片段URI1.0（基本）标准》（Media Fragments URI1.0(basic)），该标准规定了基于统一资源标识符（URI）来唯一标识Web媒体片段的技术规范。

另一方面，W3C发动的语义网上关联数据（Linked Data）运动及其产生的巨大影响也激发了多媒体标注界的灵感。一些学者提议将关联数据原理运用到Web多媒体标注，于是产生了所谓的关联标注数据（linked annotation data）方法（本文称为“第四类标注方法”）（参见“Li Y,Wald M,Wills G.Applying Linked Data in multimedia annotations[J].International Journal of Semantic Computing,2012,6(3):289-313.”）的概念——使用语义网数据资源（即URI标识的Web资源，包括多媒体资源）来标注多媒体资源，并将标注数据也以关联数据的方式进行发布。这将使多媒体标注数据成为Web公共可访问的“一等公民”，并且与全球数据空间中的其他Web数据资源建立“关联”，最终形成多媒体资源及其标注数据的全球开放共享网络。显然，要构造这样一个全球开放共享网络，必须使用一个公共的、可扩展的、具有互操作性的标注框架和数据模型。于是，Web开放标注（OpenAnnotation）的新思想于近期逐步形成。

开放标注（Open Annotation）技术规范是由W3C团体与业务组（W3C Communityand Business Groups）之一的开放标注团体（Open Annotation Community Group,OACG）（参见http://www.w3.org/community/openannotation/）于2012～2013年期间制定的。该技术规范是在综合了稍早前的两个相关提案——开放标注协作模型（Open AnnotationCollaboration model,OAC）提案（参见“Haslhofer B,Simon R,Sanderson R,SompelH.The Open Annotation Collaboration(OAC)model[C].Proceedings of2011Workshopon Multimedia on the Web(MMWeb2011),IEEE Computer Society,2011:5-9.”）和标注本体（Annotation Ontology,AO）提案（参见“Ciccarese P,Ocana M,Castro LJG,Das S,Clark T.An open annotation ontology for science on web3.0[J].Journal ofBiomedical Semantics,2011,2(Suppl 2):S4.http://www.jbiomedsem.com/content/pdf/2041-1480-2-S2-S4.pdf.”）的基础上进一步发展而来的一种Web资源标注新思想。W3C的目标是开发一个“公共的、基于RDF的数字资源标注规范”，并于2013年2月颁布了《开放标注数据模型规范》（Open Annotation Data Model）第2版草案（参见“Sanderson R,Ciccarese P,Van de Sompel H(Eds).Open Annotation Data Model[S/OL].W3CCommunity Draft,8 Feb 2013.http://www.openannotation.org/spec/core/20130208/index.html.”）（简称OA数据模型），以寻求全球的反馈与实现验证；当前，W3C开放标注（OA）数据模型已成为一种标准、通用的Web资源标注模型（参见“Ciccarese P,Soiland-ReyesS,Clark T.Web annotation as a first-class object.IEEE Internet Computing,November/December2013,17(6):71-75.”）。基于W3C的OA数据模型，形成了一种标准、通用、可扩充的Web资源（包括多媒体资源）开放标注方法（本文称为“第五类标注方法”）。

OA数据模型是一个基于RDF的可扩充标注模型，包括一个核心模型（Core Model）和若干个扩充模块。OA数据模型中定义了一个称为开放标注本体（Open Annotationontology）（简称OA本体）的OWL本体，其名空间是http://www.w3.org/ns/oa#，名空间前缀为oa:，该本体中定义的类和属性用于语义上描述Web资源（包括多媒体资源）。OA数据模型把一个标注（annotation）看作是一个（或多个）标注体（body）资源与一个（或多个）标注对象（target）资源之间的一种关联。其中，标注是oa:Annotation类的实例，是一个由HTTPURI标识的资源（如：RDF文档）；标注体和标注对象分别是定义在oa:Annotation类上的对象属性oa:hasBody和oa:hasTarget的值，可以是任何媒体类型/内容格式的Web资源（如：文本，图片，音频，视频资源），一般也由HTTP URI标识（除非它们被嵌入到标注中或用不可解析的URN来标识）。一个标注、标注体或标注对象可进一步用OA本体词汇或其他Web本体的词汇进行描述，例如使用Provenance Ontology（名空间前缀为prov:）、Dublin Core TypeVocabulary（名空间前缀为dctypes:）、Friend-of-a-Friend Vocabulary（名空间前缀为foaf:）等；对多媒体（片段）资源还可用多媒体标注本体（即MA本体）的词汇来描述。这样，标注、标注体和标注对象构成了一个关于标注的RDF图（即RDF三元组集），称为标注图（Annotation graph）。由于标注图中的资源可以是任何URI标识资源，因此，标注数据作为一种具有特定语法和语义的RDF数据可按关联数据（Linked Data）方式以RDF图的序列化格式（serialization format）（如RDF/XML、JSON-LD等语法格式）进行Web发布，从而形成Web资源（包括多媒体资源）及其标注数据的全球开放共享网络。这就是开放标注与以往传统标注的本质区别和巨大优势所在。

从以上背景技术的简要介绍中不难看出以下两点：（1）开放标注的实施者即标注生产者（producer）使用标注器（工具）按照OA数据模型产生Web多媒体资源开放标注的序列化格式数据的过程中，需要一种方法及装置来直观形象地显示开放标注的序列化格式数据，以便标注生产者能有效地生成、察看、修改与维护标注数据；（2）开放标注的用户即标注消费者（consumer）也需要一种方法及装置来直观形象地显示开放标注的序列化格式数据，以便标注消费者能有效地浏览、察看、理解、分析与复用标注数据。因此，Web多媒体资源开放标注数据的可视化（visualization）方法及装置是有效实施新近颁布的W3C《开放标注数据模型规范》的关键。

所谓数据可视化（data visualization）（参见http://en.wikipedia.org/wiki/Data_visualization）就是创建数据的直观视觉表示（visual representation），以便用特定的示意图形式来形象地表现具有特定模型、语法与语义的信息。按OA数据模型生成的Web多媒体资源开放标注数据（一种特定RDF图的序列化格式）具有特定的结构、语法与语义，这种数据既不同于一般的基于RDF数据模型的关联数据，也不同于传统的标注数据。W3C的《开放标注数据模型规范》中不仅规定了开放标注数据的模型、语法与语义，而且还约定了各种标注数据元素的图形符号。由于《开放标注数据模型规范》刚刚颁布，而且W3C相关工作组的《媒体资源本体1.0标准》与《媒体片段URI1.0（基本）标准》也是最近才颁布，因此，目前尚不存在Web多媒体资源开放标注数据的可视化方法及装置。这个结论可通过对以下几类现有技术的分析与论述中进一步得到证实。

（一）在多媒体资源（语义）标注数据的可视化方面：

这类数据可视化属于前述的基于元数据标准的多媒体标注方法（即第一类标注方法）、基于Web2.0社交软件的多媒体标注方法（即第二类标注方法）、基于本体的多媒体语义标注方法（即第三类标注方法）所涉及的标注数据可视化。

Dasiopoulou等人在一篇关于图像与视频语义标注工具的技术现状综述报告（参见“Dasiopoulou S,Giannakidou E,Litos G,Malasioti P,Kompatsiaris Y.A survey ofsemantic image and video annotation tools[M].Paliouras G,Spyropoulos C D,Tsatsaronis G(Eds.).Knowledge-Driven Multimedia Information Extraction andOntology Evolution,Lecture Notes in Computer Science Vol.6050,Springer,2011:196-239.”）中汇总、分析与评价了7个图像标注工具和7个视频标注工具，这些早期的多媒体资源（语义）标注数据工具中有部分工具具备了对标注数据的可视化功能，但是它们没有完整地可视化标注数据元素之间的全部关系，更重要的是，相应的标注方法采用各自专用的标注数据模型，没有采用W3C新近颁布的开放标注数据模型，也就是说，它们无法对Web多媒体资源开放标注数据进行可视化。

（二）在关联（标注）数据的可视化方面：

这类数据可视化属于一般的关联数据可视化以及前述的关联标注数据方法（即第四类标注方法）所涉及的标注数据可视化。

Dadzie与Rowe在一篇关于关联数据可视化方法的技术现状综述报告（参见“Dadzie A-S,Rowe M.Approaches to visualising Linked Data:A survey[J].SemanticWeb,2011,2(2):89-124.”）中分析评价了大量现有的关联数据浏览器（LD browser），其中8个浏览器具有关联数据的直观视觉表示（visual representation）功能；该综述报告指出了现有关联数据可视化技术的不足，提出了适合普通Web用户的、具有低技术门槛的关联数据可视化的技术需求与设计要求。然而，该综述报告中列举的所有可视化方法与工具均无法实现Web多媒体资源开放标注数据的可视化。

Brunetti等人设计了一种简单抽象的关联数据可视化模型LDVM（参见“BrunettiJ M,Auer S,Garcia R.The linked data visualization model[C].Proceedings of theISWC 2012 Posters & Demonstrations Track,CEUR Workshop Proceedings,Vol.914,CEUR-WS.org,October2012,http://ceur-ws.org/Vol-914/paper_29.pdf.”），允许用户用可视化方式动态连接数据。但是，LDVM可视化模型的缺陷在于它并不是针对Web多媒体资源开放标注数据的可视化，而且也未给出可视化模型与工具的具体实现方法。

如前所述，开放标注思想是在综合了稍早前的OAC模型提案和AO本体提案的基础上进一步发展而来的一种新思想。根据Haslhofer等人最新公开发表的相关综述报告（参见“Haslhofer H,Sanderson R,Simon R,Sompel H.Open annotations on multimedia Webresources[J].Multimedia Tools and Applications:An International Journal,published online 05 May 2012,Springer,DOI 10.1007/s11042-012-1098-9.http://link.springer.com/article/10.1007/s11042-012-1098-9.”），截止该综述报告发表时还没有使用OA数据模型进行多媒体标注的原型实现，但已有少量研究尝试基于关联标注数据方法，使用OAC模型和AO本体进行多媒体标注。这类工作列举如下：

Simon等人公开了其研发的YUMA标注框架（参见“Simon R,Jung J,HaslhoferB.The YUMA media annotation framework[C].Proceedings of InternationalConference on Theory and Practice of Digital Libraries(TPDL 2011),LectureNotes in Computer Science Vol.6966,Springer,2011:434-437.”），YUMA标注框架采用OAC模型，尝试运用关联数据原理对数字图书馆门户网站中的媒体资源进行协作式标注。Li等人公开了其研发的Synote标注框架（参见“Li Y,Wald M,Wills C.Applying LinkedData in multimedia annotations[J].International Journal of SemanticComputing,2012,6(3):289-313”以及“Li Y,Wald M,Omitola T,Shadbolt N,WillsG.Synote:weaving media fragments and Linked Data[C].Proceedings ofInternational Workshop on Linked Data on the Web(LDOW 2012),CEUR WorkshopProceedings,Vol.937,CEUR-WS.org,April 2012.http://ceur-ws.org/Vol-937/ldow2012-paper-01.pdf.”），Synote标注框架采用OAC模型对Web2.0视听资源（如YouTube视频）进行标注，主要思想是将视听资源连接到Web本体词汇、主题词表、Linked Data云。然而，以上两个标注框架的共同不足在于：（1）它们采用的是OAC模型，而不是W3C的OA数据模型，因此，既不能产生Web多媒体资源的开放标注数据，更无法对开放标注数据进行可视化；（2）以上两个文献中展示的OAC模型数据图是论文写作时手工绘制的示意图，并不是标注框架自动生成的可视化图。

Ciccarese等人公开了一种使用AO本体对科学文献进行标注的DOMEO工具（参见“Ciccarese P,Ocana M,Clark T.Open semantic annotation of scientificpublications using DOMEO[J].Journal of Biomedical Semantics,2012,3(Suppl1):S1.http://www.jbiomedsem.com/content/pdf/2041-1480-3-S1-S1.pdf.”），然而，DOMEO工具既无法产生又无法可视化Web多媒体资源的开放标注数据。

（三）在多媒体资源开放标注数据的可视化方面：

这类数据可视化属于前述的Web资源（包括多媒体资源）开放标注方法（即第五类标注方法）所涉及的标注数据可视化。

Hunter和Gerber于2012年8月在国际学术期刊《未来互联网》上发表的论文（参见“Hunter J,Gerber A.Towards Annotopia-Enabling the Semantic Interoperabilityof Web-Based Annotations[J].Future Internet,August 2012,4(3):788-8064.”）中描述并用案例评价了OA数据模型的Web开放标注表达力，同时展示了用来存储、搜索、检索标注数据的原型实现方案。但是，该原型实现存在以下不足：（1）标注客户端被假定可创建、搜索和浏览标注数据，但对标注数据的可视化并未给出具体实现方法与手段；（2）论文中展示的基于OA数据模型的标注图是论文写作时手工绘制的示意图，并不是标注工具自动生成的可视化图。

对以上背景技术及现有相关技术进行综合分析后，不难得出如下最终结论：目前，该领域现有技术中尚不存在对遵循W3C《开放标注数据模型规范》的Web多媒体资源开放标注数据进行可视化的方法及装置。

发明内容

本发明要解决的技术问题是，为了填补现有技术中未提供对Web多媒体资源开放标注数据进行可视化的解决方案的空白，按照W3C的《开放标注数据模型规范》中规定的开放标注（OA）数据的模型、语法与语义以及约定的各种标注数据元素的图形符号，提供一种Web多媒体资源开放标注数据的可视化方法及装置，以便能够为标注技术的生产者与消费者提供一种Web多媒体资源开放标注数据的直观视觉表示。

为了解决以上技术问题，本发明提供了Web多媒体资源开放标注数据的可视化方法及装置。

根据本发明的一个方面，提供了一种Web多媒体资源开放标注数据的可视化方法，包括如下步骤：从数据源获取Web多媒体资源开放标注的序列化格式数据；将序列化格式数据解析成资源描述框架（RDF）三元组集；将所述RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；将所述图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；基于所述具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。

进一步地，所述将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，可以包括：按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换：将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；将RDF类变换成白色矩形抽象数据结构；将RDF字面量变换成白色圆角矩形抽象数据结构；将RDF谓词变换成黑色实心箭头线抽象数据结构；将RDF类实例化变换成黑色空心箭头线抽象数据结构。

进一步地，所述基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，可以包括：基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应：当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。

根据本发明的另一个方面，提供了一种Web多媒体资源开放标注数据的可视化装置，包括：数据获取模块，用于从数据源获取Web多媒体资源开放标注的序列化格式数据；数据解析模块，用于将序列化格式数据解析成资源描述框架（RDF）三元组集；数据变换模块，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；具体化映射模块，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；屏幕图示及用户操纵响应模块，用于基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。

进一步地，所述数据变换模块，可以包括：按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换：将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；将RDF类变换成白色矩形抽象数据结构；将RDF字面量变换成白色圆角矩形抽象数据结构；将RDF谓词变换成黑色实心箭头线抽象数据结构；将RDF类实例化变换成黑色空心箭头线抽象数据结构。

进一步地，所述屏幕图示及用户操纵响应模块，可以包括：屏幕图示单元，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；用户操纵响应单元，用于响应用户对已显示的可视化图的鼠标操纵。

进一步地，所述用户操纵响应单元，可以包括：响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应：当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。

本发明提供的Web多媒体资源开放标注数据的可视化方法及装置填补了现有技术的空白，本发明技术方案能按W3C的《开放标注数据模型规范》中规定的开放标注（OA）数据的模型、语法与语义以及约定的各种标注数据元素的图形符号，为标注生产者与标注消费者提供一种Web多媒体资源开放标注数据的直观视觉表示，以便标注生产者能借助该直观视觉表示来有效地生成、察看、修改与维护标注数据，标注消费者也能借助该直观视觉表示来有效地浏览、察看、理解、分析与复用标注数据，从而为有效实施W3C《开放标注数据模型规范》奠定基础。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法的流程示意图；

图2示出了根据本发明技术方案的Web多媒体资源开放标注的实例数据在Web浏览器中打开的截屏图；

图3示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化示意图；

图4示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化图的用户操纵响应示意图；

图5示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化装置的模块结构图；

图6示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化装置的一种典型的体系结构实现方案示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

下面结合附图对本发明的具体实施方式作进一步说明。

本发明实施例提供一种Web多媒体资源开放标注数据的可视化方法，本实施例的Web浏览器选用微软的Internet Explorer 11浏览器。图1示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤S1：从数据源获取Web多媒体资源开放标注的序列化格式数据，具体包括：

本实施例以一个用RDF/XML格式（一种典型的序列化格式）表示并发布在Web上的开放标注数据的RDF文档（参见http://dbws.hhu.edu.cn/oamm/annotation/anno1.rdf）作为Web多媒体资源开放标注的实例数据（序列化格式），该开放标注的实例数据中主要包括以下多媒体标注：用2008年奥运会主题曲《You and Me》的网页和视频文件来标注2008年奥运会主题曲的演唱者图片。图2示出了根据本发明技术方案的Web多媒体资源开放标注的实例数据在Web浏览器中打开的截屏图。如图2所示，在Internet Explorer 11浏览器中打开了上述开放标注实例数据的RDF文档（RDF/XML格式）。

本步骤从以上数据源获取Web多媒体资源开放标注的序列化格式数据。

步骤S2：将序列化格式数据解析成资源描述框架（RDF）三元组集，具体包括：

本实施例借助开源语义网应用开发Java框架Apache Jena中的核心RDF API（参见http://jena.apache.org/documentation/rdf/index.html）将已获取的序列化格式数据解析成RDF三元组集，其中，每一个RDF三元组形如(<主语>,<谓语>,<宾语>)，例如：

·(http://dbws.hhu.edu.cn/oamm/annotation/anno1.rdf,rdf:type,oa:Annotation)

·(http://dbws.hhu.edu.cn/oamm/annotation/anno1.rdf,oa:serializedBy,agent1)

·(agent1,foaf:name,″Oamm v0.5″)

步骤S3：将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，具体包括：

按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换：

（1）将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框（注：本例中没有）表示；

针对上述开放标注实例数据的所有RDF实例如下：

·http://dbws.hhu.edu.cn/oamm/annotation/anno1.rdf

·2008SummerOlympicsThemeSong

·http://dbpedia.org/page/You_and_Me_(Olympic_theme_song)

·http://boonage.pjss2.net/images/content/olympic-lh-sb.jpg

·http://files.beijing2008.cn/20080808/Theme_Song/youandmemv.wmv

·http://boonage.pjss2.net/

·oa:tagging

·person1

·agent1

彩色椭圆抽象数据结构定义具体如下：开放标注实例数据中的以上所有RDF实例均是Java类ColoredEllipses的对象，此Java类定义如下：

（2）将RDF类变换成白色矩形抽象数据结构；

针对上述开放标注实例数据的所有RDF类如下：

·oa:Annotation

·dctypes:Software

·foaf:Person

·oa:SemanticTag

·dctypes:Text

·dctypes:Image

·dctypes:MovingImage

·ma:MediaResource

白色矩形抽象数据结构定义具体如下：开放标注实例数据中的以上所有RDF类均是Java类WhiteRectangles的对象，此Java类定义如下：

（3）将RDF字面量变换成白色圆角矩形抽象数据结构；

针对上述开放标注实例数据的所有RDF字面量如下：

·“2014-01-03T12:08:56Z”

·“2014-01-03T12:08:00Z”

·“Singers of Olympic theme song”

·“image/jpeg”

·“Oamm v0.5”

·“T.Wu”

白色圆角矩形抽象数据结构定义具体如下：开放标注实例数据中的以上所有RDF字面量均是Java类WhiteRoundRectangles的对象，此Java类定义如下：

（4）将RDF谓词变换成黑色实心箭头线抽象数据结构；

针对上述开放标注实例数据的所有RDF谓词如下：

·oa:serializedBy

·oa:motivatedBy

·oa:annotatedBy

·oa:hasBody

·oa:hasTarget

·ma:hasCreator

·foaf:page

·oa:annotatedAt

·foaf:name

·dcterms:subject

·ma:hasFormat

·oa:serializedAt

黑色实心箭头线抽象数据结构定义具体如下：开放标注实例数据中的以上所有RDF谓词均是Java类BlackStraightArrowLines的对象，此Java类定义如下：

（5）将类实例化变换成黑色空心箭头线抽象数据结构；

针对上述开放标注实例数据的类实例化如下：

·rdf:type

黑色空心箭头线抽象数据结构定义具体如下：开放标注实例数据中的以上所有RDF类实例化均是Java类ClassInstantiation的对象，此Java类定义如下：

通过Java编程实现为上述（1）～（5）中的各种标注数据元素按上述Java类定义来创建相应的类对象。

步骤S4：将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据，具体包括：

本实施例采用的特定屏幕可视化技术如下：Web多媒体资源开放标注数据的可视化图在Web浏览器中通过发送Servlet请求并接收由Web服务器响应请求后返回的HTML页来显示，该HTML页中的标注数据可视化图通过JSP动态网页中使用基于客户端脚本JavaScript的Viz.js插件（参见https://github.com/mdaines/viz.js/）来调用开源图形可视化软件Graphviz（参见http://www.graphviz.org/Home.php）而生成。本实施例的实例数据中5种图形符号的基于Graphviz的具体图示数据（覆盖了各种典型情形）举例如下：

通过Java编程实现将上一步骤中形成的图形抽象数据结构映射成上述所示的基于Graphviz的具体图示数据。

步骤S5：基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，具体包括：

步骤S5-1：基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图，具体包括：

采用Viz.js插件加载基于Graphviz的具体图示数据，在屏幕视图区域中显示可视化图，图3示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化示意图，如图3所示，在Internet Explorer11浏览器中显示了针对上述开放标注实例数据的可视化图以及可视化图中所有名空间前缀所对应的名空间HTTP URI。

步骤S5-2：响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应：

（1）当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；

（2）当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资资源；

针对上述开放标注实例数据，具体包括：

当鼠标点击可视化图中媒体资源实例结点（http://files.beijing2008.cn/20080808/Theme_Song/youandmemv.wmv）时，在Internet Explorer11浏览器中播放2008年奥运会主题曲的视频文件；

当鼠标点击可视化图中媒体资源实例结点（http://boonage.pjss2.net/images/content/olympic-lh-sb.jpg）时，在Internet Explorer11浏览器中显示2008年奥运会主题曲的演唱者图片。

（3）当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件；

针对上述开放标注实例数据，具体如下：

鼠标点击可视化图中由可解析URI标识的文本实例结点（http://dbpedia.org/page/You_and_Me_(Olympic_theme_song)）时，在Internet Explorer 11浏览器中打开该URI资源文件。

图4示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置对实例标注数据的可视化图的用户操纵响应示意图。如图4所示，在InternetExplorer11浏览器中打开了DBpedia网站中关于2008年奥运会主题曲《You and Me》的网页（见图左下方），显示了2008年奥运会主题曲的演唱者图片（见图正下方），调用媒体播放器播放了2008年奥运会主题曲的视频文件（见图右下方）。

根据本发明的上述Web多媒体资源开放标注数据的可视化方法，可以构建一种Web多媒体资源开放标注数据的可视化装置100，如图5所示，包括如下模块：

数据获取模块101，用于从数据源获取Web多媒体资源开放标注的序列化格式数据；

数据解析模块102，用于将序列化格式数据解析成资源描述框架（RDF）三元组集；

数据变换模块103，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构；

具体化映射模块104，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；

屏幕图示及用户操纵响应模块105，用于基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵。

进一步地，所述数据变换模块可以包括：按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下任意一种变换：将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；将RDF类变换成白色矩形抽象数据结构；将RDF字面量变换成白色圆角矩形抽象数据结构；将RDF谓词变换成黑色实心箭头线抽象数据结构；将RDF类实例化变换成黑色空心箭头线抽象数据结构。

进一步地，所述屏幕图示及用户操纵响应模块可以包括：屏幕图示单元1051，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；用户操纵响应单元1052，用于响应用户对已显示的可视化图的鼠标操纵。

进一步地，所述用户操纵响应单元可以包括：响应用户对已显示的可视化图的鼠标操纵，具体包括如下任意一种鼠标操纵的响应：当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。

图6示出了根据本发明技术方案的Web多媒体资源开放标注数据的可视化装置的一种典型的体系结构实现方案示意图。这种体系结构实现方案遵循JSP模型2体系结构（JSPModel 2 architecture）。表1中列出了图6中英文术语及其含义。

表1：英文术语及其含义一览表

如图6所示，Web多媒体资源开放标注数据的可视化装置100作为一个Web应用程序被部署于Web服务器（如Apache HTTP Server），用户使用Web浏览器（如Internet Explorer11）访问该Web应用程序的用户界面（HTML页），开放标注数据的可视化功能通过Web浏览器与Web服务器之间的请求/响应来实现。Web服务器分别通过JSP引擎和Servlet引擎来解释执行上述Web应用程序，该Web应用程序采用模型-视图-控制器（model-view-controller）设计，其中，JavaBeans作为模型，JSP页作为视图，Servlet作为控制器。图5中所示的数据获取模块101、数据解析模块102与数据变换模块103具体包含在JavaBeans模型中，具体化映射模块104和屏幕图示及用户操纵响应模块105具体包含在JSP页视图中；数据获取模块101从万维网上获取Web多媒体资源开放标注的序列化格式数据；屏幕图示单元1051在屏幕视图区域中显示开放标注数据的可视化图；用户操纵响应单元1052响应了用户对可视化图的鼠标操纵后，屏幕图示单元1051随即从万维网上获取Web文档和Web多媒体资源，并在Web浏览器中打开相应的文档/图像文件，或调用媒体播放器播放相应的音视频文件。

进一步地，如图6所示，用户在Web浏览器中通过用户界面（HTML页）输入Web多媒体资源开放标注的序列化格式数据所在的RDF文档的URI，并提交可视化请求后，该用户界面（HTML页）随即通过万维网向Web服务器发送一个Servlet请求；Web服务器将该Servlet请求传递给Servlet（控制器）；Servlet（控制器）实例化JavaBeans（模型）中的类，这些类中封装了如下三个模块的代码：数据获取模块101，用于从数据源获取Web多媒体资源开放标注的序列化格式数据；数据解析模块102，用于将序列化格式数据解析成资源描述框架（RDF）三元组集；数据变换模块103，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构。Servlet（控制器）通过上述实例化过程将图形抽象数据结构封装在Servlet请求中，并将封装了数据的请求转发给JSP页（视图）。JSP页（视图）中实现了如下两个模块的代码：具体化映射模块104，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；屏幕图示及用户操纵响应模块105，具体包括：屏幕图示单元1051，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；用户操纵响应单元1052，用于响应用户对已显示的可视化图的鼠标操纵；该JSP页（视图）需要向JavaBeans（模型）传递必要的参数，并从JavaBeans（模型）导入相关的Java类。上述的Servlet（控制器）、JavaBeans（模型）、JSP页（视图）共同组成了本发明所述可视化装置的Web应用程序。Web服务器中的JSP引擎加载该Web应用程序，将其编译成可执行类，传递可执行类并转发上述Servlet请求给Web服务器中的Servlet引擎；Servlet引擎加载并执行上述可执行类，生成包含可视化图的HTML页，并通过万维网将该HTML页返回给Web浏览器。Web浏览器将该HTML页显示给用户。用户对该HTML页中包含的可视化图进行鼠标操纵后，Web浏览器从万维网上获取相应的Web文档和Web多媒体资源，并打开文档或图像文件，或调用媒体播放器播放音视频文件。

进一步地，图6所示的根据本发明技术方案的可视化装置的体系结构已通过采用前述实施例中的具体实现技术得以实现，以前述实施例中的RDF文档（参见http://dbws.hhu.edu.cn/oamm/annotation/anno1.rdf）作为Web多媒体资源开放标注的序列化格式数据，该序列化格式数据在Internet Explorer 11浏览器中打开的截屏图如图2所示；根据本发明技术方案的可视化装置对该序列化格式数据进行可视化的输出截屏图如图3所示，该可视化装置响应用户对可视化图的鼠标操纵后的输出截屏图如图4所示。

以上表明，根据本发明技术方案的Web多媒体资源开放标注数据的可视化方法及装置是可实现的。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种Web多媒体资源开放标注数据的可视化方法，其特征在于，包括如下步骤：

从数据源获取Web多媒体资源开放标注的序列化格式数据；

将序列化格式数据解析成资源描述框架RDF三元组集；

将所述RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，进一步包括：

按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下变换：

将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；

将RDF类变换成白色矩形抽象数据结构；

将RDF字面量变换成白色圆角矩形抽象数据结构；

将RDF谓词变换成黑色实心箭头线抽象数据结构；

将RDF类实例化变换成黑色空心箭头线抽象数据结构；

将所述图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；

基于所述具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，进一步包括：

基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；

响应用户对已显示的可视化图的鼠标操纵，具体包括如下鼠标操纵的响应：

当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；

当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；

当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。

2.根据权利要求1所述的Web多媒体资源开放标注数据的可视化方法，其特征在于，所述图形抽象数据结构采用如下Java语言定义：

彩色椭圆抽象数据结构、白色矩形抽象数据结构、白色圆角矩形抽象数据结构、黑色实心箭头线抽象数据结构、黑色空心箭头线抽象数据结构均是相应的自定义Java类的对象。

3.一种Web多媒体资源开放标注数据的可视化装置，其特征在于，包括：

数据获取模块，用于从数据源获取Web多媒体资源开放标注的序列化格式数据；

数据解析模块，用于将序列化格式数据解析成资源描述框架(RDF)三元组集；

数据变换模块，用于将RDF三元组集按照开放标注数据模型的语义变换成图形抽象数据结构，进一步包括：

按W3C的《开放标注数据模型规范》中对各种标注数据元素的图形符号规定进行如下变换：

将RDF实例变换成彩色椭圆抽象数据结构，其中，由可解析URI标识的RDF实例的彩色椭圆用单线边框表示，由不可解析URN标识的RDF实例或RDF空白结点的彩色椭圆用双线边框表示；

将RDF类变换成白色矩形抽象数据结构；

将RDF字面量变换成白色圆角矩形抽象数据结构；

将RDF谓词变换成黑色实心箭头线抽象数据结构；

将RDF类实例化变换成黑色空心箭头线抽象数据结构；

具体化映射模块，用于将图形抽象数据结构映射成与特定屏幕可视化技术相匹配的具体图示数据；

屏幕图示及用户操纵响应模块，用于基于具体图示数据在屏幕视图区域中显示可视化图，并响应用户对可视化图的鼠标操纵，进一步包括：

屏幕图示单元，用于基于屏幕可视化的具体图示数据，在屏幕视图区域中显示可视化图；

用户操纵响应单元，用于响应用户对已显示的可视化图的鼠标操纵，具体包括如下鼠标操纵的响应：

当鼠标操纵移动和缩放可视化图时，在屏幕视图区域中移动和缩放该可视化图；

当鼠标点击可视化图中媒体资源实例结点时，在Web浏览器中播放或显示该媒体资源；

当鼠标点击可视化图中由可解析URI标识的文本实例结点时，在Web浏览器中打开该URI标识的文本文件。