CN108052661A - 分布式环境下的聚合检索的方法、装置及可读存储介质 - Google Patents

Abstract

本发明公开了一种分布式环境下的聚合检索方法，所述分布式环境下的聚合检索方法包括以下步骤：数据聚合平台向数据库发送监听任务，以实时监听所述数据库的数据变化；获取所述监听任务所监听到的数据内容创建所述数据内容的索引；根据查询条件设置查询接口查询所述索引信息。本发明还公开了一种分布式环境下的聚合检索装置及可读存储介质。本发明通过数据聚合平台获取服务器中变化的数据建立索引，并设置查询接口的方法查询所述索引。

Description

分布式环境下的聚合检索的方法、装置及可读存储介质

技术领域

本发明涉及互联网技术领域，尤其涉及一种分布式环境下的聚合检索的方法、装置及可读存储介质。

背景技术

由于目前线上的系统都是采用了分库分表的方式作为性能提高的手段，分库分表意味着数据分片会是单一维度的，例如按照用户号进行分库，按照交易请求号进行分库。营销时的需求就是需要实时地获取用户是否为首单，而首单是按照用户维度而不是按照请求号维度，所以这个查询如果查线上的数据库就会需要查询多个数据库，不能只通过一个索引表查询，影响性能。

发明内容

本发明的主要目的在于提供一种分布式环境下的聚合检索的方法、装置及可读介质，旨在解决在分布式部署应用环境情况下，数据分散导致的查询难、查询复杂的技术问题。

为实现上述目的，本发明提供一种分布式环境下的聚合检索的方法，所述分布式环境下的聚合检索方法包括以下步骤：

数据聚合平台向数据库发送监听任务，以实时监听所述数据库的数据变化；

获取所述监听任务所监听到的数据内容创建所述数据内容的索引；

根据查询条件设置查询接口查询所述索引信息。

优选的，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤之前，还包括：

当获取到所述监听任务所监听到的数据内容为单表数据变化时下发拉取任务；

当获取到所述监听任务所监听到的数据内容为持续增量变更信息时下发订阅任务。

优选的，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤包括：

当获取到所述监听任务为拉取任务时，所述数据聚合平台直接在所述数据库提取所述数据信息的单表并创建所述单表数据信息的索引；

当接收到的所述监听任务为订阅任务时，所述数据集合平台使用订阅增量持续获取所述数据库的实时变更的增量变更信息并创建所述增量变更数据信息的索引。

优选的，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤，还包括：

当所述数据聚合平台不能运行时，获取到所述监听任务所监听到所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息；

或者，当所述数据聚合平台没有创建所述数据信息的建设存量数据索引时，获取到所述监听任务所监听到的所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息。

优选的，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤之后，包括：

将获取的所述数据信息映射到对应的索引中并判断所述数据信息是否为多表聚合索引；

当为多表聚合索引时，修改所述索引名称并将所述数据信息插入到所述索引中；

当不为多表聚合索引时，将所述数据信息插入到所述索引中。

优选的，根据查询条件设置查询接口查询所述索引信息的步骤之前，包括：

当操作所述索引的属性不符合所述索引的集群时，所述数据聚合平台修改所述索引的属性；

当所述索引集群出现了第一索引和第二索引两个相同的索引别名，所述数据聚合平台全量抓取所述第一索引中的数据插入所述第二索引中并删除所述第一索引。

优选的，根据查询条件设置查询接口查询所述索引信息的步骤包括：

对所述索引集群有高频度的使用查询时，将所述索引接口设置为固定查询接口。

优选的，根据查询条件设置查询接口查询所述索引信息的步骤之后，还包括：

所述数据聚合平台根据指定的索引名称和查询条件设置所述索引集群的对外通用查询接口。

此外，为实现上述目的，本发明还提供一种分布式环境下的聚合检索装置，所述分布式环境下的聚合检索终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的聚合检索程序，所述聚合检索程序被所述处理器执行时实现如上所述分布式环境下的聚合检索方法的步骤。。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有聚合检索程序，所述聚合检索程序被处理器执行时实现如上所述的所述分布式环境下的聚合检索方法的步骤。

本发明实施例提出的一种分布式环境下的聚合检索的方法、装置及可读介质，通过数据聚合平台向服务器发送监听任务，以实时监听所述服务器的数据变化；获取所述监听任务所监听到的数据内容创建所述数据内容的索引；根据查询条件设置查询接口查询所述索引信息。实现了在分布式部署应用环境情况下的数据统一输出，提高了数据的完整可读性，对发生变化的数据实时存档，提供了灵活的查询入口，使每个字段均可被索引与搜索。

附图说明

图1是本发明实施例方案涉及的分布式环境下的聚合检索装置结构示意图；

图2为本发明分布式环境下的聚合检索方法的第一实施例的流程示意图；

图3为本发明分布式环境下的聚合检索方法的聚合检索平台的工作示意图；

图4为本发明分布式环境下的聚合检索方法的第二实施例的流程示意图；

图5为本发明分布式环境下的聚合检索方法的第三实施例的流程示意图；

图6为本发明分布式环境下的聚合检索方法的第四实施例的流程示意图；

图7为本发明分布式环境下的聚合检索方法的第五实施例的流程示意图；

图8为本发明分布式环境下的聚合检索方法的第六实施例的流程示意图；

图9为本发明分布式环境下的聚合检索方法的第七实施例的流程示意图；

图10为本发明分布式环境下的聚合检索方法的第八实施例的流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：数据聚合平台向服务器发送监听任务，以实时监听所述服务器的数据变化；获取所述监听任务所监听到的数据内容创建所述数据内容的索引；根据查询条件设置查询接口查询所述索引信息。

由于现有技术在分布式部署应用环境情况下，数据分散导致查询难、查询复杂。

本发明提供一种解决方案，通过数据聚合平台将获取到服务器中变化的数据建立索引，并设置查询接口的方法查询所述索引。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有搜索功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式环境下的聚合检索程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的分布式环境下的聚合检索程序，并执行以下操作：

数据聚合平台向数据库发送监听任务，以实时监听所述数据库的数据变化；

获取所述监听任务所监听到的数据内容创建所述数据内容的索引；

根据查询条件设置查询接口查询所述索引信息。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

当获取到所述监听任务所监听到的数据内容为数据单表变化时下发拉取任务；

当获取到所述监听任务所监听到的数据内容为持续增量变更信息时下发订阅任务。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

当获取到所述监听任务为拉取任务时，所述数据聚合平台直接在所述数据库提取所述数据信息的单表并创建所述单表数据信息的索引；

当接收到的所述监听任务为订阅任务时，所述数据集合平台使用订阅增量持续获取所述数据库的实时变更的增量变更信息并创建所述增量变更数据信息的索引。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

当所述数据聚合平台不能运行时，获取到所述监听任务所监听到所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息；

或者，当所述数据聚合平台没有创建所述数据信息的建设存量数据索引时，获取到所述监听任务所监听到的所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

将获取的所述数据信息映射到对应的索引中并判断所述数据信息是否为多表聚合索引；

当为多表聚合索引时，修改所述索引名称并将所述数据信息插入到所述索引中；

当不为多表聚合索引时，将所述数据信息插入到所述索引中。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

当操作所述索引的属性不符合所述索引的集群时，所述数据聚合平台修改所述索引的属性；

当所述索引集群出现了第一索引和第二索引两个相同的索引别名，所述数据聚合平台全量抓取所述第一索引中的数据插入所述第二索引中并删除所述第一索引。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

对所述索引集群有高频度的使用查询时，将所述索引接口设置为固定查询接口。

进一步地，处理器1001可以调用存储器1005中存储的分布式环境下的聚合检索程序，还执行以下操作：

所述数据聚合平台根据指定的索引名称和查询条件设置所述索引集群的对外通用查询接口。

参照图2，图2为本发明分布式环境下的聚合检索方法的第一实施例，所述分布式环境下的聚合检索方法包括：

步骤S10，数据聚合平台向数据库发送监听任务，以实时监听所述数据库的数据变化；

数据聚合平台是如图3所示由后台管理模块、数据采集器控制中心(UDP Center)、数据采集器(UDP)和数据抽取处理器(数据ETL模块)组成。后台管理模块向数据采集器控制中心下发指令，例如，如图3所示新增一个监听任务，监听服务器内数据库2的数据是否有变化或停止一个监听任务，停止监听服务器内数据库3的数据是否有变化。数据采集器控制中心接收到指令向数据报协议下发监听任务的检测节点，数据采集器实时监听服务器数据库的数据，数据采集器在实时监听服务器数据库的数据时，还会定时接收数据采集器控制中心下发的下一个监听任务。

步骤S20，获取所述监听任务所监听到的数据内容创建所述数据内容的索引；

当监听任务监听到服务器数据库的数据发生变化时，如图3所示数据采集器通过数据采集器控制中心向后台管理模块发送监听任务所监听到的数据内容，后台管理模块向数据采集器控制中心下发获取数据的指令，数据采集器控制中心根据监听任务所监听到的数据内容向数据采集器下发获取任务，数据采集器向服务器数据库获取发生变化的数据，将变化的数据发送给数据抽取处理器。后台管理模块根据获取到的数据向数据抽取处理器下发创建索引的指令，数据抽取处理器根据获取到的数据内容在索引集群里创建索引并命名。

步骤S30，根据查询条件设置查询接口查询所述索引信息。

用户在对索引集群进行查询时，数据聚合平台发现索引集群中有的索引查询频率较高时，对查询频率较高的索引设置为固定查询接口，直接查询索引中的数据。

在本实施例中数据聚合平台是向数据库发送监听任务，监听数据库的数据是否有变化，根据监听任务所监听到数据库数据变化的内容下发获取任务，并创建数据变化内容的索引。对查询频率较高的索引设置为固定查询接口，直接查询索引中的数据，在分布式环境下发生变化的数据实时文档储存，每个字段均可被索引和搜索。

进一步的，参照图4，基于上述图2，图4为本发明分布式环境下的聚合检索方法的第二实施例，所述步骤S10之后包括：

步骤S40，当获取到所述监听任务所监听到的数据内容为单表数据变化下发拉取任务；

步骤S50，当获取到所述监听任务所监听到的数据内容为持续增量变更信息时下发订阅任务。

数据采集器将取到的数据变化内容通过数据采集器控制中心上报给后台管理模块，后台管理模块向数据采集器控制中心下发获取任务数据采集器控制中心获取到监听任务所监听到的数据内容为单表中某一个数据发生变化了，向数据采集器下发拉取任务，当监听任务所监听到的数据内容为某一个或多个数据库中的数据持续增量变更时，向数据采集器下发订阅任务。当数据采集器不能运行无法监听服务器数据库中发生变化的数据时，数据采集器控制中心收回对UDP下发的监听任务，将监听任务下发给其它线上的数据采集器，让其它线上的数据报协议负责监听任务，例如，如图3所示数据采集器控制中心向数据采集器1下发监听服务器数据库1中发生数据变化的任务，数据采集器1无法运行不能监听服务器数据库1中发生数据变化的任务时，数据采集器控制中心收回对数据采集器1下发的监听任务，将监听服务器数据库1中发生变化的数据的监听任务下发给数据采集器2来监听。或者，数据采集器在正常运行时服务器数据库挂掉了，数据采集器监听不到服务器数据库时，数据采集器会重新对服务器数据库进行监听，如果数据库有热备机制能够自动切换，则能重新监听，如果重试多次不成功，数据采集器会上送异常事件，会有监控短信告诉相关的监控人员去处理。再或者是数据采集器和服务器数据库都没有挂掉，是传输有问题，数据采集器控制中心会上送异常事件，停止监听。数据采集器会在一定的时间间隔去测试是否能够连接，当可以连接的时候，又重新把任务分发给数据采集器进行监听。

在本实施例中后台管理模块接收到数据报协议发送的监听任务时向数据采集器控制中心发送获取任务，数据采集器控制中心根据监听任务所监听到的数据内容来对数据采集器下发获取任务，对不同的数据变化采用不同的获取方法，对不同的故障都会采取相应的方法来解决。

参照图5，基于上述图2所示的实施例，图5为本发明分布式环境下的聚合检索方法第三实施例，所述步骤S20包括：

步骤S21，当获取到所述监听任务为拉取任务时，所述数据聚合平台直接在所述数据库提取所述单表数据并创建所述数据单表信息的索引；

数据采集器接收数据采集器控制中心下发的拉取任务向服务器的数据库提取监听任务所监听到的单表数据，数据采集器将拉取到的数据单表通过MQ(消息中间件)发送给数据抽取处理器。后台管理模块根据获取的数据信息向数据抽取处理器下发创建索引的指令，数据抽取处理器在索引集群中创建获取的单表数据索引并命名，例如，获取的数据单表的名称是order，创建索引的名称也是order。

步骤S22，当接收到的所述监听任务为订阅任务时，所述数据集合平台使用订阅增量持续获取所述数据库的实时变更的增量变更信息并创建所述增量变更数据信息的索引。

数据采集器接收数据采集器控制中心下发的订阅任务时，判断对应的数据库是否已经有监听，当数据采集器对对应的数据库已经有监听时，增加需要监听的数据库和数据表。当数据采集器对对应的数据库没有监听时，根据发生变化数据的位置向服务器的数据库建立增量订阅连接后增加需要监听的数据库和数据表。数据采集器接收发生变化数据的位置并对发生变化的数据进行解析，判断发生变化的数据是否在监听任务中，当获取到的数据是在监听任务中，数据采集器将获取到的数据消息通过MQ发送给数据抽取处理器。后台管理模块根据获取的数据信息向数据抽取处理器下发创建索引的指令，数据抽取处理器在索引集群中创建获取数据单表的索引并命名。

在本实施例中，数据采集器根据获取任务获取服务器数据库中发生变化的数据，将获取的数据通过MQ发送给数据抽取处理器，数据抽取处理器对接收的数据内容创建对应索引，方便了后续的查询和管理。

参照图6，基于上述图2所示的实施例，图6为本发明分布式环境下的聚合检索方法第四实施例，所述步骤S20还包括：

步骤S23，当所述数据聚合平台不能运行时，获取到所述监听任务所监听到所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息；

或者，当所述数据聚合平台没有创建所述数据信息的建设存量数据索引时，获取到所述监听任务所监听到的所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息。

当数据聚合平台不能正常运行或者是数据聚合平台刚开始运行时，例如，后台管理模块没有接收到数据采集器控制中心上报监听任务的内容，或者是后台管理模块在接收到监听任务所监听到数据的内容时没有向数据抽取处理器下发创建索引的指令，再或者是数据聚合平台刚开始运行，需要服务器中的大量数据。数据采集器根据监听任务监听到服务器数据库发生数据变化，向数据采集器下发全量拉取任务。数据采集器根据监听任务的内容，例如，监听内容为监听服务器数据库1中最近一天、或最近一周的发生变化的数据，全量拉取整个数据库的数据。数据采集器将获取到的数据消息通过MQ发送给数据抽取处理器。当数据聚合平台恢复正常运行时后台管理模块根据数据抽取处理器接收到数据报协议通过MQ发送的数据信息，下发创建索引指令。数据抽取处理器在索引集群中创建获取数据单表的索引并命名，例如，获取的数据单表的名称是order，创建索引的名称也是order。

在本实施例中，当数据聚合平台不能运行时，数据报协议中心向数据报协议下发全量拉取任务，数据报协议根据监听任务全量拉取数据库中的数据，解决在分布式环境下的数据的完整性，实现了数据的统一输出。

参照图7，基于上述图6所示的实施例，图7为本发明分布式环境下的聚合检索方法第五实施例，所述步骤S50之后，还包括：

步骤60，将获取的所述数据信息映射到对应的索引中并判断所述数据信息是否为多表聚合索引；

步骤S70，当为多表聚合索引时，修改所述索引名称并将所述数据信息插入到所述索引中；

步骤S80，当不为多表聚合索引时，将所述数据信息插入到所述索引中。

数据抽取处理器接受到数据采集器发送的数据信息有多种，分别进行映射转换到对应的索引中。例如，如图3所示数据采集器发送的数据信息有服务器数据库1、数据库2、数据库3等发生变化的数据，而这些数据库中发生数据变化的又有表1、表2、表3等。数据抽取处理器全部接受数据采集器发送的数据，将这些数据按照名称分别插入到对应新建的索引中，例如索引1需要数据报协议获取的数据库1中发生变化的数据，索引2需要数据报协议获取的数据库2中发生变化的数据。还有的数据之前就在索引集群中建立有索引，这样就出现名称一样的两个索引，例如，order和order两个名称一样的索引。数据抽取处理器对索引集群进行一个检查，判断这些新建的索引是否有多个名称相同的索引。

当新建的索引没有多个名称相同的索引时，将获取的数据插入到对应的索引中。当新建的索引有多个名称相同的索引时，修改索引文档后将获取的数据插入到对应的索引中。例如，当新建的索引名称为order时，索引集群中还有一个索引名称也为order，这是数据ETL模块将新建的索引名称命名为order1，另一个索引命名为order2，将获取的数据插入到order1中。或者，新建的索引名称命名为order2，另一个索引命名为order1，将获取的数据插入到order2中。

在本实施例中数据抽取处理器对数据采集器发送的数据进行映射，将数据插入对应的索引中，并对相同名称的索引进行重新命名区分，避免了不同的索引内容出现一个相同的名称。

参照图8，基于上述图7所示的实施例，图8为本发明分布式环境下的聚合检索方法第六实施例，所述步骤S80之后包括：

步骤S90，当操作所述索引的属性不符合所述索引的集群时，所述数据聚合平台修改所述索引的属性；

当后台管理模块对索引集群进行索引管理时，发现新建的索引不符合索引集群的属性，修改新建的索引属性，使其与索引集群中其它索引的属性相同。

步骤S100，当所述索引集群出现了第一索引和第二索引两个相同的索引别名，所述数据聚合平台全量抓取所述第一索引中的数据插入所述第二索引中并删除所述第一索引。

当后台管理模块对索引集群进行索引管理时，对于相同名称的索引第一索引和第二索引，后台管理模块全量抓取第一索引中的数据插入第二索引中并删除第一索引。

在本实施例中，后台管理模块操作索引，修改不符合索引集群属性的索引，还对索引名称相同的索引进行索引重建，避免造成索引集群中的索引不完整和索引臃肿。

参照图9，基于上述图2所示的实施例，图9基于图2为本发明分布式环境下的聚合检索方法第七实施例，所述步骤S30包括：

步骤S31，对所述索引集群有高频度的使用查询时，将所述索引接口设置为固定查询接口。

用户在对索引集群进行查询时，数据聚合平台发现索引集群中有的索引查询频率较高时，对查询频率较高的索引设置为固定查询接口，直接查询索引中的数据。

在本实施中，数据聚合平台对索引集群中出现查询率较高的索引设置为固定查询接口，加快用户的查询速度。

参照图10，基于上述图9所示的实施例，图9为本发明分布式环境下的聚合检索方法第八实施例，所述步骤S31之后，还包括：

步骤S110，所述数据聚合平台根据指定的索引名称和查询条件设置所述索引集群的对外通用查询接口。

数据聚合平台根据对索引集群中的索引名称和索引中的数据在索引集群设置一个对外通用的查询接口，用户可以根据索引的名称或者是查询的数据内容在通用查询接口处查询，就能搜索出查询的索引文件。

在本实施例中，数据聚合平台对索引集群设置一个对外通用查询接口，提供一个查询入口供用户查询使用，还解决了分布式环境下分库分标造成的数据实时查询困难。

本发明还提供一种分布式环境下的聚合检索装置，所述分布式环境下的聚合检索终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式环境下的聚合检索程序，所述分布式环境下的聚合检索程序被所述处理器执行时实现如上实施例所述分布式环境下的聚合检索方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有聚合检索程序，所述聚合检索程序被处理器执行时实现如上实施例所述的所述分布式环境下的聚合检索方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式环境下的聚合检索方法，其特征在于，所述分布式环境下的聚合检索方法包括以下步骤：

数据聚合平台向数据库发送监听任务，以实时监听所述数据库的数据变化；

获取所述监听任务所监听到的数据内容创建所述数据内容的索引；

根据查询条件设置查询接口查询所述索引信息。

2.如权利要求1所述的所述分布式环境下的聚合检索方法，其特征在于，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤之前，还包括：

当获取到所述监听任务所监听到的数据内容为单表数据变化时下发拉取任务；

当获取到所述监听任务所监听到的数据内容为持续增量变更信息时下发订阅任务。

3.如权利要求2所述的所述分布式环境下的聚合检索方法，其特征在于，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤包括：

当获取到所述监听任务为拉取任务时，所述数据聚合平台直接在所述数据库提取所述数据信息的单表并创建所述单表数据信息的索引；

当接收到的所述监听任务为订阅任务时，所述数据集合平台使用订阅增量持续获取所述数据库的实时变更的增量变更信息并创建所述增量变更数据信息的索引。

4.如权利要求3所述的所述分布式环境下的聚合检索方法，其特征在于，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤，还包括：

当所述数据聚合平台不能运行时，获取到所述监听任务所监听到所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息；

或者，当所述数据聚合平台没有创建所述数据信息的建设存量数据索引时，获取到所述监听任务所监听到的所述数据库的数据发生变化，所述数据聚合平台全量拉取所述数据信息。

5.如权利要求4所述的所述分布式环境下的聚合检索方法，其特征在于，获取所述监听任务所监听到的数据内容创建所述数据内容的索引的步骤之后，还包括：

将获取的所述数据信息映射到对应的索引中并判断所述数据信息是否为多表聚合索引；

当为多表聚合索引时，修改所述索引名称并将所述数据信息插入到所述索引中；

当不为多表聚合索引时，将所述数据信息插入到所述索引中。

6.如权利要求5所述的所述分布式环境下的聚合检索方法，其特征在于，根据查询条件设置查询接口查询所述索引信息的步骤之前，包括：

当操作所述索引的属性不符合所述索引的集群时，所述数据聚合平台修改所述索引的属性；

当所述索引集群出现了第一索引和第二索引两个相同的索引别名，所述数据聚合平台全量抓取所述第一索引中的数据插入所述第二索引中并删除所述第一索引。

7.如权利要求6所述的所述分布式环境下的聚合检索方法，其特征在于，根据查询条件设置查询接口查询所述索引信息的步骤包括：

对所述索引集群有高频度的使用查询时，将所述索引接口设置为固定查询接口。

8.如权利要求7所述的所述分布式环境下的聚合检索方法，其特征在于，根据查询条件设置查询接口查询所述索引信息的步骤，还包括：

所述数据聚合平台根据指定的索引名称和查询条件设置所述索引集群的对外通用查询接口。

9.一种分布式环境下的聚合检索装置，其特征在于，所述分布式环境下的聚合检索终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式环境下的聚合检索程序，所述分布式环境下的聚合检索程序被所述处理器执行时实现如权利要求1至8中任一项所述分布式环境下的聚合检索方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有聚合检索程序，所述聚合检索程序被处理器执行时实现如权利要求1至8中任一项所述的所述分布式环境下的聚合检索方法的步骤。