CN107729557A - 一种编目信息的分类、检索方法和装置 - Google Patents

Abstract

本发明公开了一种编目信息的分类、检索方法和装置，所述检索方法包括：提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果；其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的。应用本发明可以更高效地对海量信息资源的编目信息进行检索，以高效地实现对海量信息资源的检索和价值利用。

Description

一种编目信息的分类、检索方法和装置

技术领域

本发明涉及检索领域，特别是指一种编目信息的分类、检索方法和装置。

背景技术

伴随着互联网技术的飞速发展以及网络带宽的极大提升，存储在互联网上的各种信息资源呈爆炸式增长。这些海量的信息资源中，不乏存在巨大商业价值的宝贵资源。如何在海量的信息资源中进行高效检索便成为信息资源高效利用并最大化其价值的关键。

各种信息资源中包括文档、视频、音频等资源，为便于对这些信息资源进行管理和检索，通常会对每个信息资源维护一个编目信息，用以概括该信息资源的主要信息。不同的媒资生产商会根据自己的需要定义不同的媒资编目信息，但这种异构的媒资编目信息严重地阻碍了不同厂商之间进行媒资系统间信息的融合。

这种异构数据往往是海量的且是高维度的，如何快速、有效地从海量的高维编目数据集合中找到与某个数据最相似(距离最近)的一个或多个编目数据成为信息资源高效利用的关键。

发明内容

有鉴于此，本发明的目的在于提出一种编目信息的分类、检索方法和装置，以便更高效地对海量信息资源的编目信息进行检索，以高效地实现对海量信息资源的检索和价值利用。

基于上述目的本发明提供一种编目信息的检索方法，包括：

提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；

针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；

在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果；

其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的。

其中，所述哈希桶中的编目信息具体是根据如下方法预先从海量编目信息中映射到所述哈希桶中的：

针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。

其中，所述局部敏感的哈希函数簇H是根据如下方法预先构建的：

基于确定的参数k和L，以及一组基础的局部敏感的哈希函数簇H₀，构建所述哈希函数簇H；

其中，参数k为哈希键长度，参数L为组成哈希函数簇H的哈希函数的个数。

本发明还提供一种编目信息的分类方法，包括：

针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。

本发明还提供一种编目信息的检索装置，包括：

特征提取模块，用于提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；

映射模块，用于针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的；

检索模块，用于在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果。

本发明还提供一种编目信息的分类装置，包括：

特征提取模块，用于针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

映射模块，用于针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。

本发明技术方案中，针对查询信息利用局部敏感哈希算法确定出查询信息所映射的哈希桶；根据查询信息，在确定出的哈希桶中进行检索，而对于其它哈希桶中的编目信息则可忽略，从而可以更高效、快速地从海量信息资源的编目信息中检索到与查询信息相匹配的编目信息，实现高效地对海量信息资源的检索和价值利用。

附图说明

图1为本发明实施例提供的一种编目信息的分类方法流程图；

图2为本发明实施例提供的一种哈希函数簇H构建方法流程图；

图3为本发明实施例提供的一种编目信息的检索方法流程图；

图4为本发明实施例提供的一种编目信息的分类装置内部结构框图；

图5为本发明实施例提供的一种编目信息的检索装置内部结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本发明的发明人考虑到，利用局部敏感哈希算法来解决异构、高纬度的海量编目信息分类问题，进而再利用局部敏感哈希算法基于已分类的编目信息进行快速检索。事实上，局部敏感哈希算法可以将原始数据空间中的两个相邻数据点通过相同的映射或投影变换后，使得这两个数据点在新的数据空间中仍然相邻(即在同一个哈希桶)的概率很大，而不相邻的数据点被映射到同一哈希桶的概率很小。也就是说，如果对原始数据进行一些哈希映射后，希望原先特征向量相近的特征点以较大的概率映射到同一个哈希桶中。

由此，本发明的技术方案中，首先利用局部敏感哈希算法的海量高维数据的近邻快速查找技术将海量信息资源的编目信息，比如将多媒体(视频)资源的编目信息分类到不同的哈希桶中；进而，针对查询信息利用局部敏感哈希算法确定出查询信息所映射的哈希桶；根据查询信息，在确定出的哈希桶中进行检索，而对于其它哈希桶中的编目信息则可忽略，从而可以更高效、快速地从海量信息资源的编目信息中检索到与查询信息相匹配的编目信息，实现高效地对海量信息资源的检索和价值利用。

下面结合附图详细介绍本发明的技术方案。

基于上述的思路，首先对海量信息资源的编目信息进行分类，也就是先建立编目信息的索引，以便后续的查询检索操作。本发明实施例提供的一种编目信息的分类方法，具体流程如图1所示，包括如下步骤：

步骤S101：针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合。

更优地，可以先对海量编目信息进行预处理；比如，针对多媒体资源编目字典，将字典中的编目信息先进行层级分类，分为节目层、片段层、场景层、镜头层的编目信息。

之后，针对海量编目信息(比如多媒体资源编目字典)中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；进一步，还可以针对每个编目信息，将该编目信息的特征词语集合中的各特征词语分别转换为对应的特征值，进而组成该编目信息的特征值集合。将特征词语转换为特征值的具体方法可以采用现有技术，此处不赘述。

步骤S102：针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用一组局部敏感的哈希函数簇H将该编目信息映射到相应的哈希桶中。

这样，海量编目信息被划分到若干个哈希桶中，实现对编目信息建立了索引，以便于后续的检索操作。

进一步，在完成步骤S102后还可以针对每个哈希桶，将该哈希桶中的编目信息再进一步分类：对该哈希桶中的每个编目信息的特征词语集合应用所述哈希函数簇H，将该哈希桶中的编目信息映射到若干个哈希桶中。也就是说，将步骤S102中的一个哈希桶中的编目信息再进一步映射到若干个哈希桶中，以实现更精细化的分类。

这样，映射到同一哈希桶中的编目信息即为同一类别的编目信息。

上述的一组局部敏感的哈希函数簇H是预先构建的，具体方法流程如图2所示，包括如下步骤：

步骤S201：确定参数k和参数L。

其中，参数k为哈希键长度，参数L为组成哈希函数簇H的哈希函数的个数，本领域技术人员可以根据经验设置参数k和参数L。

更优地，可以先设置参数k和参数L的初始值，之后根据设置的参数k和L的初始值构建哈希函数簇，并应用该哈希函数簇对海量编目信息进行分类后，确定基于该分类结果的检索准确性和召回性；根据确定的准确性和召回性再进一步调整参数k和L。如何根据准确性和召回性调整参数k和L可参考现有的方法，此处不赘述。

步骤S202：基于确定的参数k和L，以及一组基础的局部敏感的哈希函数簇H₀，构建所述哈希函数簇H。

事实上，现有许多经典的基础局部敏感的哈希函数簇，可以随机选取一组基础的局部敏感的哈希函数簇H₀。

基于确定的参数k和L，由选取的基础的局部敏感的哈希函数簇H₀，利用现有技术的方法构建出一组局部敏感的哈希函数簇H。具体的构建方法为本领域技术人员所熟知，此处不赘述。

基于预先映射(或称划分)到各哈希桶中的编目信息，可以更为高效地实现编目信息的检索。本发明实施例提供的一种编目信息的检索方法，如图3所示，包括如下步骤：

步骤S301：提取查询信息中的特征词语。

可采用现有技术从查询信息中提取特征词语，具体方法此处不再赘述。

步骤S302：将提取的特征词语组成所述查询信息的特征词语集合。

进一步，还可以将所述查询信息的特征词语集合中的各特征词语分别转换为对应的特征值；将转换得到的特征值组合为所述查询信息的特征值集合。

步骤S303：针对所述查询信息的特征词语集合应用上述预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶。

具体地，可以是针对所述查询信息的特征值集合应用上述预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶。

步骤S304：在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果。

本步骤中，可以采用现有常用的检索方法根据查询信息在该哈希桶中的编目信息里进行检索。比如，分别计算查询信息与该哈希桶中各编目信息的相似度或距离，将距离最近或相似度最高的若干个信息资源的编目信息作为检索结果返回。此处所述距离具体可以是汉明距离、朴素的欧几里得距离，或其它距离等。

或者，为了更进一步提高检索速度，从该哈希桶中获取前m个编目信息，根据查询信息在这m个编目信息中进行检索。本领域技术人员可以根据经验设置m值。

这样，检索范围可以缩小到一个哈希桶的编目信息范围内，而对于其它哈希桶中的编目信息则可忽略，从而可以更高效、快速地从海量信息资源的编目信息中检索到与查询信息相匹配的信息资源的编目信息，实现高效地对海量信息资源的检索和价值利用。

基于上述方法，本发明实施例提供的一种编目信息的分类装置，内部结构如图4所示，包括：特征提取模块401、映射模块402。

其中，特征提取模块401用于针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

映射模块402用于针对海量编目信息中的每个编目信息，对特征提取模块401组成的该编目信息的特征词语集合应用一组局部敏感的哈希函数簇H将该编目信息映射到相应的哈希桶中。

进一步，本发明实施例提供的一种编目信息的分类装置还可以包括：哈希函数簇构建模块403。

哈希函数簇构建模块403用于基于确定的参数k和L，以及一组基础的局部敏感的哈希函数簇H₀，构建所述映射模块402所应用的哈希函数簇H。

本发明实施例提供的编目信息的分类装置中各模块功能的具体实现可参考上述图1所示各步骤中的具体方法，此处不再赘述。

本发明实施例提供的一种编目信息的检索装置，内部结构如图5所示，包括：特征提取模块501、映射模块502、检索模块503。

其中，特征提取模块501用于提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；

映射模块502用于针对特征提取模块501组成的所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的。

检索模块503用于在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果。

进一步，本发明实施例提供的一种编目信息的检索装置还可以包括上述编目信息的分类装置中的各模块。

本发明实施例提供的编目信息的检索装置中各模块功能的具体实现可参考上述图3所示各步骤中的具体方法，此处不再赘述。

本发明技术方案中，针对查询信息利用局部敏感哈希算法确定出查询信息所映射的哈希桶；根据查询信息，在确定出的哈希桶中进行检索，而对于其它哈希桶中的编目信息则可忽略，从而可以更高效、快速地从海量信息资源的编目信息中检索到与查询信息相匹配的编目信息，实现高效地对海量信息资源的检索和价值利用。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种编目信息的检索方法，其特征在于，包括：

提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；

针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；

在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果；

其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的。

2.根据权利要求1所述的方法，其特征在于，所述哈希桶中的编目信息具体是根据如下方法预先从海量编目信息中映射到所述哈希桶中的：

针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。

3.根据权利要求1或2所述的方法，其特征在于，所述局部敏感的哈希函数簇H是根据如下方法预先构建的：

基于确定的参数k和L，以及一组基础的局部敏感的哈希函数簇H₀，构建所述哈希函数簇H；

其中，参数k为哈希键长度，参数L为组成哈希函数簇H的哈希函数的个数。

4.根据权利要求1或2所述的方法，其特征在于，所述针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶，具体包括：

将所述特征词语集合中的各特征词语分别转换为对应的特征值；

将转换得到的特征值组合为所述查询信息的特征值集合；

将所述查询信息的特征值集合应用所述哈希函数簇H映射到相应的哈希桶。

5.一种编目信息的分类方法，其特征在于，包括：

针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。

6.根据权利要求5所述的方法，其特征在于，所述局部敏感的哈希函数簇H是根据如下方法预先构建的：

基于确定的参数k和L，以及一组基础的局部敏感的哈希函数簇H₀，构建所述哈希函数簇H；

其中，参数k为哈希键长度，参数L为组成哈希函数簇H的哈希函数的个数。

7.根据权利要求5所述的方法，其特征在于，所述对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中，具体包括：

将该编目信息的特征词语集合中的各特征词语分别转换为对应的特征值；

将转换得到的特征值组合为该编目信息的特征值集合；

将该编目信息的特征值集合应用所述哈希函数簇H映射到相应的哈希桶中。

8.根据权利要求5所述的方法，其特征在于，在所述针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶后，还包括：

针对每个哈希桶，将该哈希桶中的编目信息再进一步分类：对该哈希桶中的每个编目信息的特征词语集合应用所述哈希函数簇H，将该哈希桶中的编目信息映射到若干个哈希桶中。

9.一种编目信息的检索装置，其特征在于，包括：

特征提取模块，用于提取查询信息中的特征词语，将提取的特征词语组成所述查询信息的特征词语集合；

映射模块，用于针对所述查询信息的特征词语集合应用预先构建的一组局部敏感的哈希函数簇H将所述查询信息映射到相应的哈希桶；其中，所述哈希桶中的编目信息是预先利用所述哈希函数簇H从海量编目信息中映射到所述哈希桶中的；

检索模块，用于在所述查询信息映射的哈希桶中的编目信息里，根据所述查询信息进行检索，得到检索结果。

10.一种编目信息的分类装置，其特征在于，包括：

特征提取模块，用于针对海量编目信息中的每个编目信息，提取该编目信息中的特征词语，将提取的特征词语组成该编目信息的特征词语集合；

映射模块，用于针对海量编目信息中的每个编目信息，对该编目信息的特征词语集合应用所述哈希函数簇H将该编目信息映射到相应的哈希桶中。