CN102236714A - 一种基于xml的交互应用多媒体信息检索方法 - Google Patents

Abstract

本发明公开了一种基于XML的交互应用多媒体信息检索方法。该方法将XML文档检索技术与基于内容的多媒体检索相结合起来，将多媒体信息的外部特征及其高级语义信息以XML文档形式的描述，形成XML文档系统，并对这些描述性的XML文档进行科学有序地存储，检索时与基于内容的多媒体检索系统相结合，检索结果按一定的权重结合，形成的最终结果按相关度递减的顺序提供给用户。本发明可以快速提取数字电视交互应用多媒体信息中有用的特征数据信息。

Description

一种基于XML的交互应用多媒体信息检索方法

技术领域

本发明涉及数字电视交互应用领域，具体涉及一种基于XML的交互应用多媒体信息检索方法。

背景技术

多媒体技术、Intemet和数字电视交互应用技术的发展给人们带来巨大的多媒体信息海洋，并进一步导致了多媒体信息库的产生。在数字电视交互应用服务中，图像、音频、视频等多媒体数据信息量巨大。但是目前的多媒体检索系统大多都能实现对多媒体进行基于文本的检索和基于内容的检索。这两种检索方式的应用有其局限性。首先，采用文本来表达多媒体信息的内容，检索对象的不一致决定在这种信息的传递过程中必定会有大量信息的丢失，不能真正反映信息的内容；其次，多媒体信息是一种随意性强的信息，缺乏一般意义上的规范性，所以在使用文字描述多媒体信息时，难以做到准确而完整的描述。作为检索领域比较热门的话题，基于内容的多媒体信息检索仍然存在一些问题，主要包括：多媒体信息内容的描述、特征的自动提取、多媒体的同步技术、匹配和结构化的选择问题。因此，有必要提出一种新的多媒体信息检索方式，解决用户在进行多媒体信息检索时出现的问题。

XML作为标识语言，是结构化的数据，可以使用自定义标签，具有强大的链接功能。因此，可以使用XML文档处理多媒体的基本语义信息，将多媒体检索技术与基于XML的文本检索相结合，建立基于XML的多媒体检索系统。综合两种检索技术的优势，达到更深的检索层次，提高检索效率。

目前来看，基于XML的多媒体信息检索技术是一种新型的检索技术，具有一定的现实意义。首先，XML将多媒体的基本语义信息集成并使用标签封装在一个文档中显示，避免了信息在传递过程中的丢失，能真正反映信息的内容。其次，XML可以结构化地描述多媒体信息，结构化的XML文档，可以为用户指定定义了的文档元素词汇表，以提高检索效率.最后，XML文档的样式与内容是分离的，可以使应用程序轻松地寻找并提取有用的特征数据信息.综上所述，基于XML的多媒体信息检索技术能够解决传统的多媒体信息检索带来的问题，满足不同层次用户的检索要求，使用户更为方便、高效地获取信息。本发明将提出一种基于XML的交互应用多媒体信息检索方法。

发明内容

本发明提供一种基于XML的交互应用多媒体信息检索方法，能提高交互应用服务多媒体数据库检索的效率。

一种基于XML的交互应用多媒体信息检索方法，是将XML文档检索技术与基于内容的多媒体检索相结合起来，将多媒体信息的外部特征及其高级语义信息以XML文档形式的描述，形成XML文档系统，并对这些描述性的XML文档进行科学有序地存储，检索时与基于内容的多媒体检索系统相结合，检索结果按一定的权重结合，形成的最终结果按相关度递减的顺序提供给用户。

该发明包括多媒体信息处理子系统单元和多媒体信息检索子系统单元；所述多媒体信息处理子系统单元一方面负责获取各类多媒体资源的元信息并用XML文档加以描述，建立XML文档系统；另一方面对多媒体数据进行基于内容特征的提取，为基于内容的多媒体信息检索提供多层次数据源；所述多媒体信息检索子系统单元负责分析用户提交的请求，分别在XML文档系统和多媒体的媒体库、特征库、知识库中进行检索，将两个系统中检索出来的结果按照某一权值进行合并，然后将最终结果反馈给用户。

XML文档对多媒体信息进行描述的流程如下：

步骤31：多媒体信息标识和特征提取；

步骤32：对用于描述多媒体信息的XML文档的结构进行定义；

步骤33：XML文档系统建立；

其中，步骤31中多媒体信息的对象标识主要是通过相关工具箱的辅助，以全自动或半自动需要用户部分干预的方式对音频、静态图像、视频镜头等数据中包含的对象进行标识，以便针对对象进行特征提取、描述和查询；多媒体的对象标识属于局部特征处理，如果是针对多媒体数据进行整体内容检索，通常只需要提取全局特征，而不需要对象标识功能；特征提取是指对音频、视频、图像等多媒体数据自动或半自动提取用户感兴趣的，适合检索要求的特征；特征提取有全局性的，也有局部性的，对于图像信息的特征提取主要是提取图像的颜色、纹理、轮廓、形状、位置、空间特征；对于视频信息，是提取关键帧、运动目标特征和运动摄像视频特征；对于音频信息，是提取音频媒体特征；

步骤33中每个多媒体信息对应于XML文档一个resource节点，而多媒体的各种元信息通过resource节点包含的多个子节点，包括Title、size、Format、nescription描述出来，从而多媒体系统转换成XML文档系统，并将多媒体与相应的XML映射提供查询。

多媒体信息检索子系统检索方法流程如下：

步骤41：XML文档的检索；

步骤42：多媒体的多特征融合检索；

步骤43：XML文档检索与基于内容的多媒体检索的结合；

其中，步骤41中，在XML文档系统中，用户对多媒体信息的检索转换成对XML文档进行检索；具体的检索方式有以下三种：a.基于导航浏览式的检索；b.关键词检索；c.全文检索；

步骤42中，多特征融合检索是先进行基于单个特征的多媒体检索，对多个单特征检索返回的结果依照一定的算法，将它们在各个特征上的相似性测度进行合并，然后按合并后的综合相似性度量对这些结果进行排序反馈给用户；

步骤43中，对于两个系统检索出来的结果，分别赋予一定的权重相结合，形成最终结果反馈给用户；用户对该检索结果给出满意或不满意评价，并把此评价反馈给系统，系统从用户反馈中分析出用户的查询需要，并自动调整权重参数和特征查询参数，形成新一轮查询；如此循环，直到用户满意为止。

上述技术方案可以看出，由于本发明具有以下有益效果：

1.本发明可以避免数字电视交互应用多媒体信息在传递过程中的丢失。

2.本发明可以快速提取数字电视交互应用多媒体信息中有用的特征数据信息。

3.本发明可以提高数字电视交互应用多媒体信息中有用的特征数据信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明方法流程图；

图2是XML文档对多媒体信息描述流程图；

图3是多媒体信息检索子系统检索方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种基于XML的交互应用多媒体信息检索方法，能提高交互应用服务多媒体数据库检索的效率，以下分别进行详细说明。

图1为本发明方法流程图

本发明的实现方法为：将XML文档检索技术与基于内容的多媒体检索相结合起来。将多媒体信息的外部特征及其高级语义信息以XML文档形式的描述，形成XML文档系统，并对这些描述性的XML文档进行科学有序地存储，检索时与基于内容的多媒体检索系统相结合，检索结果按一定的权重结合，形成的最终结果按相关度递减的顺序提供给用户。

如图1所示，本发明包括以下单元：多媒体信息处理子系统单元和多媒体信息检索子系统单元。

所述多媒体信息处理子系统单元一方面负责获取各类多媒体资源的元信息并用XML文档加以描述，建立XML文档系统；另一方面对多媒体数据进行基于内容特征的提取，为基于内容的多媒体信息检索提供多层次数据源。由于对多媒体数据进行基于内容的特征提取只是现有技术的利用，故不再赘述。在图2所示的步骤中将详细介绍实现XML文档对多媒体信息的描述方法。

所述多媒体信息检索子系统单元负责分析用户提交的请求，分别在XML文档系统和多媒体的媒体库、特征库、知识库中进行检索，将两个系统中检索出来的结果按照某一权值进行合并，然后将最终结果反馈给用户。图3所示的步骤中将详细介绍该子系统的检索方法。

图2为XML文档对多媒体信息描述流程图

为了正确有效的组织、管理海量的多媒体资源，必须获取交互应用多媒体资源的元信息并进行结构化的描述，使所有的XML描述文件满足相同的规范以便系统实现自动化的信息处理。

如图2所示为XML文档对多媒体信息描述流程图，包括以下步骤：

步骤1：多媒体信息标识和特征提取。

多媒体信息的对象标识主要是通过相关工具箱的辅助，以全自动或半自动(需要用户部分干预)的方式对音频、静态图像、视频镜头等数据中包含的对象进行标识，以便针对对象进行特征提取、描述和查询。多媒体的对象标识属于局部特征处理，如果是针对多媒体数据进行整体内容检索，通常只需要提取全局特征，而不需要对象标识功能。

特征提取是指对音频、视频、图像等多媒体数据自动或半自动提取用户感兴趣的，适合检索要求的特征。特征提取可以是全局性的，如针对某幅图像或某个视频场景，也可以是局部性的(只针对某个对象)，如图像中的子区域、视频中的运动图像等。对于图像信息的特征提取主要是提取图像的颜色、纹理、轮廓、形状、位置、空间等特征。对于视频信息，是提取关键帧、运动目标特征和运动摄像视频特征。对于音频信息而言，是提取音频媒体特征。以视频信息为例，其各种不同层次检索特征的提取常需要借助一定工具来完成，需要先将原始视频分割为各个镜头外，还要检测出各种摄像机动作，包括水平/垂直扫射、变焦、跟踪、前进/后退、升降、左右移动等。进一步地，还要对前后视频片段相关的语义基元进行内容辨识等。

步骤2：对用于描述多媒体信息的XML文档的结构进行定义。如一个多媒体元数据的XML文档结构可以定义如下：

步骤3：XML文档系统建立。每个多媒体信息对应于XML文档一个resource节点，而多媒体的各种元信息通过resource节点包含的多个子节点(如Title、size、Format、nescription等)描述出来，从而多媒体系统转换成XML文档系统，并将多媒体与相应的XML映射提供查询。

图3为多媒体信息检索子系统检索方法流程图

如图3所示，包括步骤：

步骤1：XML文档的检索

在XML文档系统中，用户对多媒体信息的检索转换成对XML文档进行检索。具体的检索方式可以有以下三种：

a.基于导航浏览式的检索。根据XML文档中的元数据描述对多媒体进行分类，用户通过可视化的导航机制浏览检索多媒体文档或片段(图片，视频、音频或其片断等)。

b.关键词检索。为了实现基于文本的XML检索，可以将XML文档的标签抽取出来建立相应的索引，提供基于关键词的多媒体检索。

c.全文检索。对Description标签中的内容可以引入全文检索机制，为用户提供全文检索，也可以直接基于XML文档进行全文检索。

步骤2：多媒体的多特征融合检索。多媒体的信息量十分丰富，单纯一种特征并不能描述多媒体所包含的内容，用单一特征进行检索不能兼顾检索过程中多方面特征的权衡，所以一般是融合多个特征并根据用户感兴趣因素调节各个特征的权重实现多特征融合检索，其本质是对单一特征的扩充。多特征融合检索的实现方法是：先进行基于单个特征的多媒体检索，对多个单特征检索返回的结果依照一定的算法，将它们在各个特征上的相似性测度进行合并，然后按合并后的综合相似性度量对这些结果进行排序反馈给用户。

步骤3：XML文档检索与基于内容的多媒体检索的结合。对于两个系统检索出来的结果，分别赋予一定的权重相结合，形成最终结果反馈给用户。用户对该检索结果给出满意或不满意评价，并把此评价反馈给系统，系统从用户反馈中分析出用户的查询需要，并自动调整权重参数和特征查询参数，形成新一轮查询。如此循环，直到用户满意为止。

需要说明的是，上述装置和系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种基于XML的交互应用多媒体信息检索方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于XML的交互应用多媒体信息检索方法，其特征在于，该方法将XML文档检索技术与基于内容的多媒体检索相结合起来，将多媒体信息的外部特征及其高级语义信息以XML文档形式的描述，形成XML文档系统，并对这些描述性的XML文档进行科学有序地存储，检索时与基于内容的多媒体检索系统相结合，检索结果按一定的权重结合，形成的最终结果按相关度递减的顺序提供给用户。

2.根据权利要求1所述的方法，其特征在于，该发明包括多媒体信息处理子系统单元和多媒体信息检索子系统单元；所述多媒体信息处理子系统单元一方面负责获取各类多媒体资源的元信息并用XML文档加以描述，建立XML文档系统；另一方面对多媒体数据进行基于内容特征的提取，为基于内容的多媒体信息检索提供多层次数据源；所述多媒体信息检索子系统单元负责分析用户提交的请求，分别在XML文档系统和多媒体的媒体库、特征库、知识库中进行检索，将两个系统中检索出来的结果按照某一权值进行合并，然后将最终结果反馈给用户。

3.根据权利要求1或2所述的方法，其特征在于，XML文档对多媒体信息进行描述的流程如下：

步骤31：多媒体信息标识和特征提取；

步骤32：对用于描述多媒体信息的XML文档的结构进行定义；

步骤33：XML文档系统建立；

其中，步骤31中多媒体信息的对象标识主要是通过相关工具箱的辅助，以全自动或半自动需要用户部分干预的方式对音频、静态图像、视频镜头等数据中包含的对象进行标识，以便针对对象进行特征提取、描述和查询；多媒体的对象标识属于局部特征处理，如果是针对多媒体数据进行整体内容检索，通常只需要提取全局特征，而不需要对象标识功能；特征提取是指对音频、视频、图像等多媒体数据自动或半自动提取用户感兴趣的，适合检索要求的特征；特征提取有全局性的，也有局部性的，对于图像信息的特征提取主要是提取图像的颜色、纹理、轮廓、形状、位置、空间特征；对于视频信息，是提取关键帧、运动目标特征和运动摄像视频特征；对于音频信息，是提取音频媒体特征；

步骤33中每个多媒体信息对应于XML文档一个resource节点，而多媒体的各种元信息通过resource节点包含的多个子节点，包括Title、size、Format、nescription描述出来，从而多媒体系统转换成XML文档系统，并将多媒体与相应的XML映射提供查询。

4.根据权利要求1或2所述的方法，其特征在于，多媒体信息检索子系统检索方法流程如下：

步骤41：XML文档的检索；

步骤42：多媒体的多特征融合检索；

步骤43：XML文档检索与基于内容的多媒体检索的结合；

其中，步骤41中，在XML文档系统中，用户对多媒体信息的检索转换成对XML文档进行检索；具体的检索方式有以下三种：a.基于导航浏览式的检索；b.关键词检索；c.全文检索；

步骤42中，多特征融合检索是先进行基于单个特征的多媒体检索，对多个单特征检索返回的结果依照一定的算法，将它们在各个特征上的相似性测度进行合并，然后按合并后的综合相似性度量对这些结果进行排序反馈给用户；

步骤43中，对于两个系统检索出来的结果，分别赋予一定的权重相结合，形成最终结果反馈给用户；用户对该检索结果给出满意或不满意评价，并把此评价反馈给系统，系统从用户反馈中分析出用户的查询需要，并自动调整权重参数和特征查询参数，形成新一轮查询；如此循环，直到用户满意为止。

Images