CN107622094A - 一种基于搜索引擎的大批量数据导出系统和方法 - Google Patents

Abstract

本发明公开一种基于搜索引擎的大批量数据导出系统，包括服务端、搜索引擎、数据仓库以及FTP服务器，所述服务端设置有登录模块、数据检索模块、订单处理模块以及数据处理模块，所述登录模块用于对用户身份进行握手校验，所述数据检索模块用于访问搜索引擎执行数据交换，所述订单处理模块用于数字化批量管理数据检索业务需求，所述数据处理模块用于访问FTP服务器执行数据导出。通过上述方式，本发明提供一种基于搜索引擎的大批量数据导出系统，通过搜索引擎检索数据，关联数据库数据，从而实现实时高效的数据查询功能和大批量数据导出功能。

Description

一种基于搜索引擎的大批量数据导出系统和方法

技术领域

本发明涉及数据处理领域，尤其涉及一种基于搜索引擎的大批量数据导出系统。

背景技术

现有市场需求数据条件模糊，由此导致数据库对模糊查询支持较差，同时受到查询条件固定原因的影响，无法较好地大批量导出有价值的商业数据。

发明内容

本发明主要解决的技术问题是提供一种基于搜索引擎的大批量数据导出系统，通过搜索引擎检索数据，关联数据库数据，从而实现实时高效的数据查询功能和大批量数据导出功能。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于搜索引擎的大批量数据导出系统，包括服务端、搜索引擎、数据仓库以及FTP服务器，所述服务端设置有登录模块、数据检索模块、订单处理模块以及数据处理模块，所述登录模块用于对用户身份进行握手校验，所述数据检索模块用于访问搜索引擎执行数据交换，所述订单处理模块用于数字化批量管理数据检索业务需求，所述数据处理模块用于访问FTP服务器执行数据导出。

一种基于搜索引擎的大批量数据导出系统的导出数据方法，该方法包括：

S1，用户登录，

所述登录模块获取用户输入的用户名和密码进行身份校验；

S2，数据检索，

身份校验通过后，所述数据检索模块获取用户输入的检索关键字并发送至搜索引擎处理搜索请求，随后将搜索引擎返回的结果数据由前端页面展示，供用户分析筛选出价值数据项；

S3，订单处理，

所述订单处理模块获取价值数据项，同时创建空白订单文件，将价值数据项的数据量、检索条件、数据交付价格等信息写入订单文件，待用户确认后将订单文件提交至数据处理模块；

S4，导出数据，

所述数据处理模块根据获得的订单文件访问数据仓库，提取订单文件中指定数据上传至FTP服务器，并生成链接供外部用户下载。

在本发明一个较佳实施例中，所述搜索引擎设置有索引刷新模块，所述索引刷新模块用于不间断执行脚本来更新数据仓库索引。

在本发明一个较佳实施例中，所述S4步骤中，指定数据的导出过程采用多表并发处理方式。

本发明的有益效果是：本发明提供的一种基于搜索引擎的大批量数据导出系统，通过搜索引擎检索数据，关联数据库数据，从而实现实时高效的数据查询功能和大批量数据导出功能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明一种基于搜索引擎的大批量数据导出系统的一较佳实施例的结构图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明实施例包括：

一种基于搜索引擎的大批量数据导出系统，包括服务端、搜索引擎、数据仓库以及FTP服务器，所述服务端设置有登录模块、数据检索模块、订单处理模块以及数据处理模块，所述登录模块用于对用户身份进行握手校验，所述数据检索模块用于访问搜索引擎执行数据交换，所述订单处理模块用于数字化批量管理数据检索业务需求，所述数据处理模块用于访问FTP服务器执行数据导出。

一种基于搜索引擎的大批量数据导出系统的导出数据方法，该方法包括：

S1，用户登录，

所述登录模块获取用户输入的用户名和密码进行身份校验；

S2，数据检索，

身份校验通过后，所述数据检索模块获取用户输入的检索关键字并发送至搜索引擎处理搜索请求，随后将搜索引擎返回的结果数据由前端页面展示，供用户分析筛选出价值数据项；

S3，订单处理，

所述订单处理模块获取价值数据项，同时创建空白订单文件，将价值数据项的数据量、检索条件、数据交付价格等信息写入订单文件，待用户确认后将订单文件提交至数据处理模块；

S4，导出数据，

所述数据处理模块根据获得的订单文件访问数据仓库，提取订单文件中指定数据上传至FTP服务器，并生成链接供外部用户下载。

其中，所述搜索引擎设置有索引刷新模块，所述索引刷新模块用于不间断执行脚本来更新数据仓库索引。

进一步的，所述S4步骤中，指定数据的导出过程采用多表并发处理方式。

优选地，前端页面提供可视化查询界面，用户在界面选填数据筛选条件进行数据查询，同时，前端会显示出指定条件下的具体数据量。用户可个性化选择导出的数据维度、数据格式和数据量。

由于数据量的庞大以及涉及性能数据的处理，且数据表众多、数据量庞大，采用的方案是：将搜索引擎查询取得的数据主键作为关联，关联其他表数据，数据表索引和大批量单表数据分批处理，多表数据并发处理，实现高效率离线导出数据。

导出数据的格式可自定义为excel文档格式或文本文档格式。

综上所述，本发明提供了一种基于搜索引擎的大批量数据导出系统，通过搜索引擎检索数据，关联数据库数据，从而实现实时高效的数据查询功能和大批量数据导出功能。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于搜索引擎的大批量数据导出系统，其特征在于，包括服务端、搜索引擎、数据仓库以及FTP服务器，所述服务端设置有登录模块、数据检索模块、订单处理模块以及数据处理模块，所述登录模块用于对用户身份进行握手校验，所述数据检索模块用于访问搜索引擎执行数据交换，所述订单处理模块用于数字化批量管理数据检索业务需求，所述数据处理模块用于访问FTP服务器执行数据导出。

2.根据权利要求1所述的基于搜索引擎的大批量数据导出系统的导出数据方法，其特征在于，该方法包括：

S1，用户登录，

所述登录模块获取用户输入的用户名和密码进行身份校验；

S2，数据检索，

身份校验通过后，所述数据检索模块获取用户输入的检索关键字并发送至搜索引擎处理搜索请求，随后将搜索引擎返回的结果数据由前端页面展示，供用户分析筛选出价值数据项；

S3，订单处理，

所述订单处理模块获取价值数据项，同时创建空白订单文件，将价值数据项的数据量、检索条件、数据交付价格等信息写入订单文件，待用户确认后将订单文件提交至数据处理模块；

S4，导出数据，

所述数据处理模块根据获得的订单文件访问数据仓库，提取订单文件中指定数据上传至FTP服务器，并生成链接供外部用户下载。

3.根据权利要求1所述的基于搜索引擎的大批量数据导出系统，其特征在于，所述搜索引擎设置有索引刷新模块，所述索引刷新模块用于不间断执行脚本来更新数据仓库索引。

4.根据权利要求2所述的基于搜索引擎的大批量数据导出系统的导出数据方法，其特征在于，所述S4步骤中，指定数据的导出过程采用多表并发处理方式。