CN104765829A - 一种信息检索方法及装置 - Google Patents

Abstract

本发明公开了一种信息检索方法及装置，用以实现提高检索速度及词语关联准确度的目的。所述方法包括：从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；根据所述给定词的名称，计算所述给定词的哈希hash值；在对应的词典表中根据所述给定词的hash值查找所述给定词的标识，其中，所述词典表的数据项架构包括词的标识、词的hash值以及词本身；根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识；在所述词典表中根据所述给定词的属性关联词的标识查找所述给定词的属性关联词。

Description

一种信息检索方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种信息检索方法及装置。

背景技术

随着信息技术的飞速发展，当今社会进入了信息爆炸时代，人们越来越多地借助网络来寻找自己需要的信息，因此，检索成为人们工作、生活不可或缺的一部分。

人们通常使用搜索引擎来进行检索，搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将与用户检索相关的信息展示给用户的系统。

现有技术中，搜索引擎在对信息进行组织和处理时，会直接存储信息内容本身，例如，北京关联的相关机构是故宫，则会保存文字北京关联的相关机构是故宫，这样需要大量的存储空间。并且，搜索引擎在检索时会直接根据文字匹配与搜索词相关的信息，如，搜索词为“北京关联的机构是什么”，则会匹配到“北京关联的相关机构是故宫”等，检索速度较慢。

发明内容

本发明提供一种信息检索方法及装置，用以实现提高检索速度及词语关联准确度的目的。

本发明提供一种信息检索方法，包括：

从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；

根据所述给定词的名称，计算所述给定词的哈希hash值；

在词典表中根据所述给定词的hash值查找所述给定词的标识，其中，所述词典表的数据项架构包括词的标识、词的hash值以及词本身；

根据所述给定词的标识和关联属性，在对应的词语关联表中查找所述给定词的属性关联词的标识；

在所述词典表中根据所述给定词的属性关联词的标识查找所述给定词的属性关联词。

在本发明一实施例中，所述词语关联表的数据项架构包括关联的两个词的标识和对应的关联深度值。

在本发明一实施例中，所述根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识，包括：

在所述给定词的关联属性对应的词语关联表中，根据所述给定词的标识查找所述给定词的属性关联词的标识。

在本发明一实施例中，所述根据所述给定词的标识查找所述给定词的属性关联词的标识，包括：

根据所述给定词的标识查找到多个所述给定词的属性关联词的标识；

从多个所述给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。

在本发明一实施例中，所述给定词的关联属性包括多个，所述根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识，包括：

根据所述给定词的标识和第一关联属性，在词语关联表中查找所述给定词的第一属性关联词的标识；

根据所述给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找所述给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找所述给定词的所有属性关联词的标识。

本发明还提供一种信息检索装置，包括：

提取模块，用于从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；

计算模块，用于根据所述给定词的名称，计算所述给定词的哈希hash值；

第一查找模块，用于在对应的词典表中根据所述给定词的hash值查找所述给定词的标识，其中，所述词典表的数据项架构包括词的标识、词的hash值以及词本身；

第二查找模块，用于根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识；

第三查找模块，用于在所述词典表中根据所述给定词的属性关联词的标识查找所述给定词的属性关联词。

在本发明一实施例中，所述词语关联表的数据项架构包括关联的两个词的标识和对应的关联深度值。

在本发明一实施例中，所述第二查找模块还包括：

查找单元，用于在所述给定词的关联属性对应的词语关联表中，根据所述给定词的标识查找所述给定词的属性关联词的标识。

在本发明一实施例中，所述查找单元还用于：

根据所述给定词的标识查找到多个所述给定词的属性关联词的标识；

从多个所述给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。

在本发明一实施例中，所述给定词的关联属性包括多个，所述第二查找模块还用于：

根据所述给定词的标识和第一关联属性，在词语关联表中查找所述给定词的第一属性关联词的标识；

根据所述给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找所述给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找所述给定词的所有属性关联词的标识。

本发明实施例的一些有益效果可以包括：

本发明实施例中，从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性，随后根据给定词的名称，计算给定词的hash值，进而在词典表中根据给定词的hash值查找给定词的标识，根据给定词的标识和关联属性，在对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词。由此可知，本发明能够根据给定词的标识，在关联属性对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词，相比于现有技术中查找匹配文字本身，本发明能够提高检索效率及词语关联准确度。并且，本发明在词语关联表中存储词的标识，能够节约资源存储空间。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一实施例中信息检索方法的流程图；

图2为本发明一实施例提供的词典表的结构字段示意图；

图3为本发明一实施例提供的词典数据表的结构字段示意图；

图4为本发明一实施例提供的词语关联表的结构字段示意图；

图5为本发明一实施例中信息检索装置的结构示意图；以及

图6为本发明一实施例中信息检索装置中第二查找模块的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例中，词语关联表可以包括：人物关联表，地点关联表，机构关联表，属性关联表等，本发明不限于此。下文提及的词语关联表中nr(表示人物)、nt(表示机构)或ns(表示地点)均视为不同的词语关联表，但每个关联表数据结构保持一致。

图1所示为本发明一实施例中信息检索方法的流程图，该方法包括以下步骤S11-S15：

步骤S11，从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性。

在该步骤中，给定的、包含关联属性信息的词汇，例如“北京关联的机构资源”，从该词汇中提取出给定词为“北京”，关联属性为“关联的机构”。

步骤S12，根据给定词的名称，计算给定词的hash值。

步骤S13，在词典表中根据给定词的hash值查找给定词的标识，其中，该词典表的数据项架构包括词的标识、词的hash值以及词本身。

步骤S14，根据给定词的标识和关联属性，在对应的词语关联表中查找给定词的属性关联词的标识。在该步骤中，关联属性可以包括人物、地点、机构等属性。

步骤S15，在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词。即由步骤S14得到的一个或多个标识，在词典表中根据这些标识查找给定词的属性关联词。

本发明实施例中，从给定的、包含关联属性信息的词汇中，根据给定词的名称，计算给定词的hash值，进而在词典表中根据给定词的hash值查找给定词的标识，根据给定词的标识和关联属性(如人物、地点、机构等)，在对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词。由此可知，本发明能够根据给定词的标识，在关联属性对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词，相比于现有技术中查找匹配文字本身，本发明能够提高检索效率及词汇关联准确度。并且，本发明在词语关联表中存储词的标识，能够节约资源存储空间。

上文步骤S12提及的给定词的hash(哈希)值，可以是词的MD5(MessageDigest Algorithm，消息摘要算法第五版)值，如可以截取MD5值的前16位；还可以是词的SHA1(Secure Hash Algorithm，安全哈希算法)值；还可以通过其它算法计算词的hash值，本发明不限于此。

上文步骤S13中提及的词典表，其数据项中除了可以包括词本身、词的标识以及词的hash值这些字段外，还可以包括词对应的文档属性，如在电视节目数据中，词对应的文档属性包括词对应的频道、栏目等。这里，词典表可以表示为tixmain_data_term，当然，此处仅是示意性的，并不限制本发明。如图2所示为本发明一实施例提供的词典表的结构字段示意图，图2中，termid表示词的标识，termkey表示词的hash值，termvalue表示词本身，termprop表示词对应的文档属性，updated表示词的更新时间。

在本发明一实施例中，上文步骤S14中提及的词语关联表，其数据项架构包括关联的两个词的标识和对应的关联深度值。这里，词语关联性表中的人物关联表可以表示为Tzn_nr_d1，其包括两个字段rel和weight，rel记录了关联的两个词的ID(标识)，ID来源于词典表，形如ID.ID，weight记录了两个词的关联深度，两个词同时出现在一条数据资源信息中，则关联深度值加上第一预设数值(如1或2等)。例如，若两个词同时出现在N条数据资源信息中，则关联深度值加上N个1。

在本发明另一实施例中，rel生成规则为：第一个词的ID(标识)来自词典数据表中数据资源的关键词，第二个词的ID(标识)来自词典数据表中的数据资源中的人物、地点或机构或属性。例如，编辑人员推送新文档或数据资源后，会根据资源中关键词，以及提取的相关人物、地点、机构等词汇，到词典表中拿到标识，按rel关系映射值，如果rel值存在，则将其weight加1。这里的词典数据表中存储有多条数据资源信息，各条数据资源信息包括数据资源发布者，数据资源发布时间，数据资源的属性，数据资源中的人物、地点、机构，数据资源的关键词中的一项或多项标识，所述各条数据资源信息中各项信息以其各自在词典表中的标识的形式存储在词典数据表中。如图3所示为本发明一实施例提供的词典数据表的结构字段示意图，图3中，id表示该条数据资源信息的标识，published表示数据资源发布时间，f2t_props表示数据资源的属性，t2f_t_uid表示数据资源发布者，t2n_nr表示人物，t2n_ns表示地点，t2n_nt表示机构，t2t_t_terms表示数据资源的关键词。

如图4所示为本发明一实施例提供的词语关联表的结构字段示意图，图4中，该tixmain_t2n_nr_d1表为最近一天人物的词语关联表，d1表示一天内的词语关联性，还可以有d3(3天内)表、d7(7天内)表或d30(30天内)表等等。rel中第一个词的ID来自词典数据表中数据资源的关键词，第二个词的ID来自词典数据表中的数据资源中的人物的ID值。weight字段中，编辑人员推送新文档或数据资源进来后，按rel关系映射值，如果rel值存在100816.100799，则将其weight加1。

此外，根据不同的关联属性，词语关联表可以包括tixmain_t2n_ns_d1表，为最近一天地点的词语关联表，d1表示一天内的词语关联性，还可以有d3(3天内)表、d7(7天内)表或d30(30天内)表等。词语关联表还可以包括tixmain_t2n_nt_d1表，为最近一天机构的词语关联表，d1表示一天内的词语关联性，还可以有d3(3天内)表、d7(7天内)表或d30(30天内)表等。tixmain_t2t_t_terms_d1、tixmain_t2t_t_terms_d3、tixmain_t2t_t_terms_d30分别表示最近1天、三天、30天所有人物、地点和机构的词语关联表。

步骤S14中根据给定词的标识和关联属性，在词语关联表中查找给定词的属性关联词的标识，本发明提供了一种优选的方案，在该方案中，可以在给定词的关联属性对应的词语关联表中，根据给定词的标识查找给定词的属性关联词的标识。例如，若关联属性为人物，则在人物的词语关联表中，根据给定词的标识查找给定词的属性关联词的标识。

进一步，根据给定词的标识查找给定词的属性关联词的标识可以实施为：根据给定词的标识查找到多个给定词的属性关联词的标识，从多个给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。例如，用户需要查找“北京关联的相关机构资源”，提取给定词为“北京”和关联属性为“机构”。先到词典表tixmain_data_term中查找北京的ID(标识)，即先计算北京的hash值，根据该hash值查找到北京的ID。然后到关联属性为机构的词语关联表tixmain_t2n_nt_d1(还可以有d3和d7)中根据北京的ID查找与北京关联的词，进而根据北京和其关联的词搜索相关资源。如，从词典表中查找到北京的ID为10001，到tixmain_t2n_nt_d1中查找rel为10001.*的所有记录，按权重值排序，取前n个机构词的ID，拿词的ID到词典表中查找，得到机构词汇名称，根据机构词汇名称检索，即得到北京关联的机构资源。

若给定词的关联属性包括多个，步骤S14根据给定词的标识和关联属性，在词语关联表中查找给定词的属性关联词的标识可以实施为：根据给定词的标识和第一关联属性，在词语关联表中查找给定词的第一属性关联词的标识，根据给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找给定词的所有属性关联词的标识。

对应于上述实施例中的信息检索方法，本发明还提供了一种信息检索装置。如图5所示为本发明一实施例中信息检索装置的结构示意图，包括：

提取模块51，用于从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；

计算模块52，用于根据给定词的名称，计算给定词的哈希hash值；

第一查找模块53，用于在词典表中根据给定词的hash值查找给定词的标识，其中，词典表的数据项架构包括词的标识、词的hash值以及词本身；

第二查找模块54，用于根据给定词的标识和关联属性，在对应的词语关联表中查找给定词的属性关联词的标识；

第三查找模块55，用于在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词。

在本发明一实施例中，词语关联表的数据项架构包括关联的两个词的标识和对应的关联深度值。

在本发明一实施例中，如图6所示，上述第二查找模块54还包括：

查找单元61，用于在给定词的关联属性对应的词语关联表中，根据给定词的标识查找给定词的属性关联词的标识。

在本发明一实施例中，上述查找单元61还用于：

根据给定词的标识查找到多个给定词的属性关联词的标识；

从多个给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。

在本发明一实施例中，若给定词的关联属性包括多个，上述第二查找模块54还用于：

根据给定词的标识和第一关联属性，在词语关联表中查找给定词的第一属性关联词的标识；

根据给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找给定词的所有属性关联词的标识。

本发明实施例的上述装置：从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性，随后根据给定词的名称，计算给定词的hash值，进而在词典表中根据给定词的hash值查找给定词的标识，根据给定词的标识和关联属性，在对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词。由此可知，本发明能够根据给定词的标识，在关联属性对应的词语关联表中查找给定词的属性关联词的标识，最后在词典表中根据给定词的属性关联词的标识查找给定词的属性关联词，相比于现有技术中查找匹配文字本身，本发明能够提高检索效率及词语关联准确度。并且，本发明在词语关联表中存储词的标识，能够节约资源存储空间。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种信息检索方法，其特征在于，包括：

从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；

根据所述给定词的名称，计算所述给定词的哈希hash值；

在词典表中根据所述给定词的hash值查找所述给定词的标识，其中，所述词典表的数据项架构包括词的标识、词的hash值以及词本身；

根据所述给定词的标识和关联属性，在对应的词语关联表中查找所述给定词的属性关联词的标识；

在所述词典表中根据所述给定词的属性关联词的标识查找所述给定词的属性关联词。

2.根据权利要求1所述的方法，其特征在于，所述词语关联表的数据项架构包括关联的两个词的标识和对应的关联深度值。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识，包括：

在所述给定词的关联属性对应的词语关联表中，根据所述给定词的标识查找所述给定词的属性关联词的标识。

4.根据权利要求3所述的方法，其特征在于，所述根据所述给定词的标识查找所述给定词的属性关联词的标识，包括：

根据所述给定词的标识查找到多个所述给定词的属性关联词的标识；

从多个所述给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。

5.根据权利要求1所述的方法，其特征在于，所述给定词的关联属性包括多个，所述根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识，包括：

根据所述给定词的标识和第一关联属性，在词语关联表中查找所述给定词的第一属性关联词的标识；

根据所述给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找所述给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找所述给定词的所有属性关联词的标识。

6.一种信息检索装置，其特征在于，包括：

提取模块，用于从给定的、包含关联属性信息的词汇中提取出给定词的名称和关联属性；

计算模块，用于根据所述给定词的名称，计算所述给定词的哈希hash值；

第一查找模块，用于在对应的词典表中根据所述给定词的hash值查找所述给定词的标识，其中，所述词典表的数据项架构包括词的标识、词的hash值以及词本身；

第二查找模块，用于根据所述给定词的标识和关联属性，在词语关联表中查找所述给定词的属性关联词的标识；

第三查找模块，用于在所述词典表中根据所述给定词的属性关联词的标识查找所述给定词的属性关联词。

7.根据权利要求6所述的装置，其特征在于，所述词语关联表的数据项架构包括关联的两个词的标识和对应的关联深度值。

8.根据权利要求6或7所述的装置，其特征在于，所述第二查找模块还包括：

查找单元，用于在所述给定词的关联属性对应的词语关联表中，根据所述给定词的标识查找所述给定词的属性关联词的标识。

9.根据权利要求8所述的装置，其特征在于，所述查找单元还用于：

根据所述给定词的标识查找到多个所述给定词的属性关联词的标识；

从多个所述给定词的属性关联词的标识中，选取对应的关联深度值满足预设数值条件的标识。

10.根据权利要求6所述的装置，其特征在于，所述给定词的关联属性包括多个，所述第二查找模块还用于：

根据所述给定词的标识和第一关联属性，在词语关联表中查找所述给定词的第一属性关联词的标识；

根据所述给定词的第一属性关联词的标识和第二关联属性，在词语关联表中查找所述给定词的第二属性关联词的标识，以此类推，直至在词语关联表中查找所述给定词的所有属性关联词的标识。