CN112148938A - 一种跨域异构数据检索系统及检索方法 - Google Patents

Abstract

本发明公开了一种跨域异构数据检索系统及检索方法，该系统包括注册模块、语句生成模块、调度模块、数据检索模块和数据返回模块，注册模块接收客户端注册的数据，基于注册数据的属性形成对应的含有至少一个标签的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；语句生成模块接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，所述标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，所述检索结果经过处理后发送至客户端。本发明通过在注册阶段对数据进行分类，并基于分类数据生成目录，有效地提高了异构数据的检索效率和准确性。

Description

一种跨域异构数据检索系统及检索方法

技术领域

本发明涉及数据检索领域，具体涉及一种跨域异构数据检索系统及检索方法。

背景技术

近年来，随着科学技术的迅猛发展和信息化推进，数据的采集、存储、处理和传播的数量与日俱增。为了减少资料收集、数据采集的工作量，通常需要把不同来源、格式、特点性质的数据在逻辑或物理上集成，从而为用户提供全面的数据共享，便于用户根据需求检索、提取各数据库中存储的指定数据。

但是，由于数据集成系统通常对接有多种异构数据库，这些异构数据库在计算机体系结构、操作系统和数据库本身均存在异构，且数据本身又主要分为结构化数据、非结构化数据和实时数据，因此多种数据库及数据类型虽然给用户提供了丰富的信息，但也带来了信息检索的不便。

综上，有必要提供一种针对跨域、异构数据的检索系统及检索方法，以提高对于跨域、异构数据的检索效率。

发明内容

本发明的目的在于提供一种跨域异构数据检索系统及检索方法，以解决现有技术中对于异构数据的检索准确性差、检索效率低的问题，实现在注册阶段即对数据进行分类，有效地提高了检索准确性和效率的目的。

本发明通过下述技术方案实现：

一种跨域异构数据检索系统，包括：

注册模块，用于注册数据并基于数据的属性形成对应的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

语句生成模块，用于接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，并将标签字段发送至调度模块；

调度模块，用于将标签字段分别发送至数据检索模块；

数据检索模块，用于将标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，并将检索结果发送至数据返回模块或调度模块；

数据返回模块，用于处理检索结果，发送处理后的检索结果至客户端。

数据的异构主要包括结构化数据、非结构化数据、半结构化数据和实时数据。其中，结构化数据是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范；非结构化数据为数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据；半结构化数据为具有一定结构性的数据；实时数据是在某事发生、发展过程中的同一时间中所得信息的载体，用于表示客观事物的未经加工的原始素材。数据的异构使得数据的检索十分困难，异构数据存在检索准确性差、检索效率低的问题。

为了解决上述问题，本发明提供了一种从注册即展开数据分类的检索方式，大幅简化了后续客户端的检索问题，提高了检索的准确性和效率。

具体地，本技术方案包括注册模块、语句生成模块、调度模块、数据检索模块和数据返回模块。其中，注册模块用于接收来自客户端注册的数据。接收数据后，注册模块基于数据的属性形成对应的标签组。标签组包含至少一个代表数据属性的标签。例如，对于景点攻略，其标签可以景点名称、旅行时间、旅行成本等攻略中的关键字；对于游客评论，标签可以是点赞数、评论内容中的高频词、评论者的自身属性等；对于景点文化介绍，其标签可以是景点名称、景观对象、故事朝代等属性。在根据数据的属性形成了对应的标签组后，对数据类型进行判断，判断其属于结构化数据、非结构化数据、半结构化数据或实时数据，之后将结构化数据发送至结构化数据库，非结构化数据和半结构化数据发送至非结构化数据库，实时数据发送至实时数据库。通过上述注册方式，三个数据库分别接收对应类型的数据及其标签，并基于预设的目录，将具有符合目录分类要求的标签的数据存储于对应的分类下；或者基于数据的标签进行聚类，根据数据产生分类，进而形成目录，便于后续对数据的检索。

在部分实施例中，在提取数据中的标签之前，对客户端注册的数据进行清洗和治理。

检索数据时，客户端在用户界面的对话框中输入检索字段如检索式，根据检索字段中的关键词、逻辑算符和/或字段提取标签字段，所述标签字段可以是景点名称、旅行时长、攻略作者、美食名称等。提取的标签字段由语句生成模块发送至调度模块，由调度模块进行数据库检索。数据库的检索方式为：调度模块将标签字段发送给数据检索模块，数据检索模块将该标签字段分发给结构化数据库、非结构化数据库和实时数据库，在三个数据库中分别进行检索。三个数据库分别将标签字段与其所设定的类别中的标签进行比对，并提取相关数据，再将相关数据结果返回至数据检索模块，数据检索模块得到返回数据后，将检索结果发送至数据返回模块。数据返回模块对数据检索结果进行处理后，将处理后的检索结果返回至客户端。

通过上述设置，系统在数据注册阶段便根据数据类型发送至结构化数据库、非结构化数据库或实时数据库，使得客户端在检索时，通过将标签字段与三个数据库进行比对，在三个数据库返回结果后利用数据返回模块对检索结果进行处理，进而有效地提高了异构数据的检索效率和准确性。

进一步地，注册模块包括标准数据注册模块和非标准数据注册模块。所述标准数据模块用于注册标准数据，此处的标准数据系指能够直接存入结构化数据库的结构化数据，例如游客身份证信息、手机号、手环序列号、会员注册信息。在一个实施例中，对于标准数据，在注册阶段可以对其格式进行限定，例如对于游客的身份证，只能接收jpg格式上传。由于标准数据的标签提取方式和内容基本一致，因此标准数据注册模块注册了标准数据后，可直接将数据及其标签组发送至结构化数据库中。非标准数据注册模块用于注册标准数据以外的非标准数据。在注册非标准数据时，游客需要填写非标准数据注册模块生成的注册信息表。例如在注册实时视频或者景点攻略时，需要上传者填写景点名称，添加一段关于数据内容的描述以便于注册模块提取数据标签形成有效的标签组。注册信息表填写完成后，非标准数据注册模块将非标准数据及标签组发送至结构化数据库、非结构化数据库或实时数据库。

作为本发明的一个优选实施方式，所述结构化数据库、非结构化数据库或实时数据库对接收的数据及标签组中的标签进行关联，相关联的标签形成一级聚类，将所述一级聚类发送至分类模块。本技术方案中，与传统的数据分类方式不同，并非由系统基于行业特点预先生成分类，而是基于数据的标签的关联性形成一级聚类。例如，对于都江堰景区而言，标签为都江堰、安澜索桥、二王庙、伏龙观的导游音频、攻略文档、游客评论等数据形成一级聚类。随后，将一级聚类发送至分类模块，分类模块在接收到各一级聚类后，对一级聚类中的高频标签进行进一步提取，形成二级聚类、三级聚类，最终形成分类目录。例如，从都江堰景区，及都江堰景区的安澜索桥、二王庙、伏龙观等景点中提取都江堰作为二级聚类，从都江堰、乐山大佛、青城山等标签中提取三级聚类，最终形成分类目录。

通过上述设置，由数据标签聚类形成的分类目录更加科学、合理，避免根据行业规则进行分类时所产生的部分数据不清楚应该分入哪一类别或子类别所导致的数据分类不准确，造成最终提取数据时处理难度大，数据提取不准确的问题。

进一步地，该系统还包括关系数据库，所述关系数据库用于接收分类目录，建立标签与一级聚类的映射关系，将所述映射关系发送至调度模块。形成分类目录后，一级聚类与数据的标签之间的映射关系基本明确，为了便于语句生成模块在提取标签字段后能够快速对应到结构化数据库、非结构化数据库和实时数据库中的分类目录，将一级聚类与标签之间确定的映射关系发送至调度模块进行存储，从而大幅提高检索效率。

作为本发明的一个优选实施方案，当在结构化数据库、非结构化数据库或实时数据库中未检索到数据时，数据检索模块向调度模块发送补充检索信号，所述调度模块向连接的搜索引擎发送标签字段，并将搜索引擎返回的检索结果发送至数据返回模块。当三个数据库返回至数据检索模块的检索结果中未包含用户需要的数据时，数据检索模块向调度模块发送补充检索信号，使调度模块进入补充检索方式。具体地，调度模块接收补充检索信号后，向连接的外部搜索引擎发送标签字段，当外部搜索引擎返回检索结果后，将返回的检索结果发送至数据返回模块，数据返回模块再对检索结果进行处理后，发送至客户端。通过上述设置，使得在结构化数据库、非结构化数据库和实时数据库无法检索到目标数据时，能够通过连接的外部搜索引擎进行补充检索，从而提高检索数据的完整性。

进一步地，若搜索引擎返回的检索结果包含有效数据，则对应的搜索引擎在该标签或标签所属的类别的优先级评分提高，在调度模块向搜索引擎发送标签字段时，选择优先级评分更高的搜索引擎。本技术方案通过引入优先级评分系统对搜索引擎进行排序。当某一搜索引擎返回的检索结果包含有效数据时，则该搜索引擎在当前标签或标签所属的各级类别的优先级分数增加，在后续调度模块进行补充检索时，优先选择当前标签所属类别下评分更高的搜索引擎，从而优化补充检索步骤，提高检索效率。

进一步地，所述数据返回模块基于检索结果所包含的标签个数或关键度对检索结果进行排序，记录检索结果的选择，并将选择结果返回至反馈模块，所述反馈模块用于分析并修正标签的关键度。

本发明还提供一种跨域异构数据检索方法，包括以下步骤：

接收客户端注册的数据，基于注册数据的属性形成对应的含有至少一个标签的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，所述标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，所述检索结果经过处理后发送至客户端。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明中，系统在数据注册阶段便根据数据类型发送至结构化数据库、非结构化数据库或实时数据库，使得客户端在检索时，通过将标签字段与三个数据库进行比对，在三个数据库返回结果后利用数据返回模块对检索结果进行处理，进而有效地提高了异构数据的检索效率和准确性；

2、本发明由数据标签聚类形成的分类目录更加科学、合理，避免根据行业规则进行分类时所产生的部分数据不清楚应该分入哪一类别或子类别所导致的数据分类不准确，造成最终提取数据时处理难度大，数据提取不准确的问题；

3、本发明使得在结构化数据库、非结构化数据库和实时数据库无法检索到目标数据时，能够通过连接的外部搜索引擎进行补充检索，从而提高检索数据的完整性。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明具体实施例中系统的结构框图；

图2为本发明具体实施例中方法的流程框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

在本文中使用的术语“连接”在不进行特别说明的情况下，可以是直接相连，也可以使经由其他部件间接相连。

实施例1：

如图1所示的一种跨域异构数据检索系统，包括：

注册模块，用于注册数据并基于数据的属性形成对应的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

语句生成模块，用于接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，并将标签字段发送至调度模块；

调度模块，用于将标签字段分别发送至数据检索模块；

数据检索模块，用于将标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，并将检索结果发送至数据返回模块或调度模块；

数据返回模块，用于处理检索结果，发送处理后的检索结果至客户端。

数据库的检索方式为：调度模块将标签字段发送给数据检索模块，数据检索模块将该标签字段分发给结构化数据库、非结构化数据库和实时数据库，在三个数据库中分别进行检索。三个数据库分别将标签字段与其所设定的类别中的标签进行比对，并提取相关数据，再将相关数据结果返回至数据检索模块，数据检索模块得到返回数据后，将检索结果发送至数据返回模块。数据返回模块对数据检索结果进行处理后，将处理后的检索结果返回至客户端。

本实施例中，系统在数据注册阶段便根据数据类型发送至结构化数据库、非结构化数据库或实时数据库，使得客户端在检索时，通过将标签字段与三个数据库进行比对，在三个数据库返回结果后利用数据返回模块对检索结果进行处理，进而有效地提高了异构数据的检索效率和准确性。

在部分实施例中，所述注册模块包括标准数据注册模块，所述标准数据注册模块用于注册标准数据，基于标准数据的属性形成标签组，将标准数据及标签组发送至结构化数据库。

在部分实施例中，所述注册模块包括非标准数据注册模块，所述非标准数据注册模块用于生成注册信息表，所述注册信息表请求填写部分数据属性，并基于部分属性生成标签组，将非标准数据及标签组发送至结构化数据库、非结构化数据库或实时数据库。

实施例2：

在实施例1的基础上，所述结构化数据库、非结构化数据库或实时数据库对接收的数据及标签组中的标签进行关联，相关联的标签形成一级聚类，将所述一级聚类发送至分类模块；所述分类模块用于从一级聚类中提取分类，形成分类目录，将分类目录发送至客户端和数据检索模块；还包括关系数据库，所述关系数据库用于接收分类目录，建立标签与一级聚类的映射关系，将所述映射关系发送至调度模块。

在本实施例中，基于数据的标签的关联性形成一级聚类。在一个实施例中，对于都江堰景区而言，标签为都江堰、安澜索桥、二王庙、伏龙观的导游音频、攻略文档、游客评论等数据形成一级聚类；对于青城山景区而言，标签为青城山、观音阁、老君阁、圆明宫、上清宫的各项景点信息数据形成一级聚类；对于乐山大佛景区而言，标签为乐山大佛、睡佛、灵宝塔、凌云禅院的各项景点信息数据形成一级聚类。之后，从都江堰的一级聚类中提取都江堰作为二级聚类，从青城山的一级聚类中提取青城山作为二级聚类，从乐山大佛的一级聚类中提取乐山大佛作为二级聚类，再从都江堰、乐山大佛、青城山等标签中提取四川4A级以上景区作为三级聚类，以此类推最终形成分类目录。

不同于传统的先目录后加入数据的方式，本实施例中基于数据的标签的关联性形成一级聚类进而逐步完成整个分类目录的方式所产生的分类目录更加科学、合理，避免根据行业规则进行分类时所产生的部分数据不清楚应该分入哪一类别或子类别所导致的数据分类不准确，造成最终提取数据时处理难度大，数据提取不准确的问题。

实施例3：

在上述实施例的基础上，当在结构化数据库、非结构化数据库或实时数据库中未检索到数据时，数据检索模块向调度模块发送补充检索信号，所述调度模块向连接的搜索引擎发送标签字段，并将搜索引擎返回的检索结果发送至数据返回模块；若搜索引擎返回的检索结果包含有效数据，则对应的搜索引擎在该标签或标签所属的类别的优先级评分提高，在调度模块向搜索引擎发送标签字段时，选择优先级评分更高的搜索引擎。

补充检索的具体方式为：调度模块接收补充检索信号后，向连接的外部搜索引擎发送标签字段，当外部搜索引擎返回检索结果后，将返回的检索结果发送至数据返回模块，数据返回模块再对检索结果进行处理后，发送至客户端。

在部分实施例中，所述数据返回模块基于检索结果所包含的标签个数或关键度对检索结果进行排序，记录检索结果的选择，并将选择结果返回至反馈模块，所述反馈模块用于分析并修正标签的关键度。

实施例4：

如图2所示的一种跨域异构数据检索方法，包括以下步骤：

接收客户端注册的数据，基于注册数据的属性形成对应的含有至少一个标签的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，所述标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，所述检索结果经过处理后发送至客户端。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨域异构数据检索系统，其特征在于，包括：

注册模块，用于注册数据并基于数据的属性形成对应的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

语句生成模块，用于接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，并将标签字段发送至调度模块；

调度模块，用于将标签字段分别发送至数据检索模块；

数据检索模块，用于将标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，并将检索结果发送至数据返回模块或调度模块；

数据返回模块，用于处理检索结果，发送处理后的检索结果至客户端。

2.根据权利要求1所述的一种跨域异构数据检索系统，其特征在于，所述注册模块包括标准数据注册模块，所述标准数据注册模块用于注册标准数据，基于标准数据的属性形成标签组，将标准数据及标签组发送至结构化数据库。

3.根据权利要求1所述的一种跨域异构数据检索系统，其特征在于，所述注册模块包括非标准数据注册模块，所述非标准数据注册模块用于生成注册信息表，所述注册信息表请求填写部分数据属性，并基于部分属性生成标签组，将非标准数据及标签组发送至结构化数据库、非结构化数据库或实时数据库。

4.根据权利要求1所述的一种跨域异构数据检索系统，其特征在于，所述结构化数据库、非结构化数据库或实时数据库对接收的数据及标签组中的标签进行关联，相关联的标签形成一级聚类，将所述一级聚类发送至分类模块。

5.根据权利要求4所述的一种跨域异构数据检索系统，其特征在于，所述分类模块用于从一级聚类中提取分类，形成分类目录，将分类目录发送至客户端和数据检索模块。

6.根据权利要求5所述的一种跨域异构数据检索系统，其特征在于，还包括关系数据库，所述关系数据库用于接收分类目录，建立标签与一级聚类的映射关系，将所述映射关系发送至调度模块。

7.根据权利要求1所述的一种跨域异构数据检索系统，其特征在于，当在结构化数据库、非结构化数据库或实时数据库中未检索到数据时，数据检索模块向调度模块发送补充检索信号，所述调度模块向连接的搜索引擎发送标签字段，并将搜索引擎返回的检索结果发送至数据返回模块。

8.根据权利要求7所述的一种跨域异构数据检索系统，其特征在于，若搜索引擎返回的检索结果包含有效数据，则对应的搜索引擎在该标签或标签所属的类别的优先级评分提高，在调度模块向搜索引擎发送标签字段时，选择优先级评分更高的搜索引擎。

9.根据权利要求1所述的一种跨域异构数据检索系统，其特征在于，所述数据返回模块基于检索结果所包含的标签个数或关键度对检索结果进行排序，记录检索结果的选择，并将选择结果返回至反馈模块，所述反馈模块用于分析并修正标签的关键度。

10.一种跨域异构数据检索方法，其特征在于，包括以下步骤：

接收客户端注册的数据，基于注册数据的属性形成对应的含有至少一个标签的标签组，根据数据类型将数据及标签组发送至结构化数据库、非结构化数据库或实时数据库；

接收客户端输入的检索字段，对检索字段进行处理后提取标签字段，所述标签字段发送至结构化数据库、非结构化数据库和实时数据库中进行检索，所述检索结果经过处理后发送至客户端。

Images