CN108108375A - 一种大数据提取方法和系统 - Google Patents

Abstract

本发明公开了一种大数据提取方法和系统，包括以下步骤：创建任务模板、创建用户界面以及通过所述用户界面调用所述任务模板；所述创建用户界面步骤包括以下具体步骤：f1.设置权限输入框；f2.设置查询输入框与匹配的所述任务模板中的查询输入接口链接；f3.设置预览区域；f4.设置输出转换接口与相应的转换程序链接；通过采用用户界面调用相应任务模板的方式提取数据，方便数据分析人员的操作，避免了每一次对在线游戏数据提出需求时就需要重新编写相应程序的麻烦；同时，也节约了分析人员与技术人员的沟通成本，提升了工作效率；采用该方法的大数据提取系统也同样具有上述优点。

Description

一种大数据提取方法和系统

技术领域

本发明涉及大数据处理领域，尤其涉及大数据平台中在线游戏数据提取的一种大数据提取方法和系统。

背景技术

现有关于大数据的各种应用，大都基于对大数据的分析。而从海量的数据中提取符合分析需求的数据，则是保证分析结果是否准确的基础。目前对于大数据的提取，主要是通过数据库语句或者编写程序来实现，使得对数据库和编程操作都需要较高的技术要求。对于分析人员（一般为产品经理或者运营人员）而言，很少能够具备上述提取技术，都需要借助相关的技术人员的帮助来实现对大数据的提取。

因此，如附图5所示，现有的大数据提取方法一般具有如下流程：分析人员向技术人员提出分析的需求(比如：所要提取的数据类型、数据源属性、关键字特征等等信息)，技术人员对按需求编写数据库语句或者相关程序对数据库进行访问和数据提取，技术人员将提取到的数据形成结果文档，发送给相应的分析人员。

其中，对大数据中平台中在线游戏的数据进行分析，是运营商对该游戏运营情况的了解和对游戏进行改进的基础。但是，分析人员一般不具备从大数据平台提取和处理相应游戏数据的能力，必须通过提出需求的形式让技术人员来完成。因此，技术人员的不仅涉及对多种不同的数据需求进行不同的程序编程，还要对所有需求必须进行相应的分类和排期，导致大数据提取流程周期长、操作灵活性低，极大的影响了对大数据进行分析的工作效率。可见，现有的大数据提取方法存在不足。

发明内容

本发明的目的在于提供一种提供友好用户使用界面的大数据提取的方法和系统。

为了解决上述技术问题，本发明所采用的技术方案为：一种大数据提取方法，包括以下步骤：创建任务模板、创建用户界面以及通过所述用户界面调用所述任务模板进行数据提取；所述创建用户界面步骤包括以下具体步骤：

f1.设置权限输入框，用以根据输入的权限显示可以匹配的所述任务模板；

f2.设置查询输入框与匹配的所述任务模板中的查询输入接口链接，用以输入查询条件；

f3.设置预览区域，用以显示执行所述预处理函数后的查询结果。

f4.设置输出转换接口与相应的转换程序链接，用以将所述预览区域中符合查询条件的数据转换为相应格式后输出。

进一步的，所述创建任务模板的步骤包括以下具体步骤：

m1.根据需求定义预处理函数；

m2.调用相应的所述预处理函数，编写查询语句；

m3.为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口；

m4.为所述任务模板设定操作权限。

再进一步的，所述步骤m3后还包括以下步骤：

m31.所述第一查询条件设置为数据的列表属性；

m32.所述第二查询条件设置为数据的行范围；

m33.为所述列表属性设置选择标记，以被标记后的所述列表属性为有效列表属性。

又一步的，所述创建任务模板步骤前还包括以下步骤：

q1.收集针对大数据的提取需求。

作为一种改进，所述步骤f4后还包括以下步骤：

f5.用户界面采用网页页面的格式。

再者，所述步骤f4中所述数据转换为表格后输出。

为了解决上述技术问题，本申请还提供一种大数据提取系统，包括：任务模板单元和用户界面单元；所述用户界面单元包括：验证模块，用以进行操作权限验证，根据输入的权限显示可以匹配相应的所述任务模板；预览区域，用以显示通过所述任务模板预处理后的数据；查询输入框，用以为所述任务模板输入查询条件；输出模块，将符合查询条件的数据转换为相应格式后输出。

进一步的，所述任务模板单元包括：预处理函数模块，用以根据需求定义预处理函数；与所述预处理函数模块连接的主程序模块，用以存储编写的查询语句，并调用相应的所述预处理函数；还包括：与所述主程序模块连接的查询接口模块，用以为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口。

再进一步的，所述任务模板单元还包括与所述主程序模块连接的权限模块，用以为所述任务模板单元设置操作权限。

与现有技术相比，本发明具有以下有益效果：

通过采用用户界面调用相应任务模板的方式提取数据，使分析人员可以直接通过用户界面对数据进行提取操作，避免了每一次对在线游戏数据提出需求时技术人员就需要重新编写相应程序的麻烦；同时，也节约了分析人员与技术人员的沟通成本，提升了工作效率。

进一步的，本发明还通过采用定义任务模板的形式编写相应的提取程序，为所述任务模板定义和调用相应的预处理函数，使得不同的任务模板可以对应不同的分析需求，在对不同类型的在线游戏数据进行相应的预处理，以增强其可读性。同时预留查询输入接口，进行查询时拥有相当的灵活性，方便分析人员可以根据需求自助式的进行在线游戏数据的查询和提取操作。有效的提高了大数据平台上进行在线游戏数据提取时的工作效率。

附图说明

图1为本发明大数据提取方法的主要流程示意图；

图2为本发明大数据提取方法的完整流程示意图；

图3为本发明大数据提取系统的功能模块框架示意图；

图4为本发明大数据提取系统的完整功能模块框架示意图；

图5为现有技术中对大数据进行提取的流程示意图。

具体实施方式

以下参考附图1至附图5，对本发明的各实施例予以进一步地详尽阐述。

首先，说明本发明大数据提取方法的现实基础：

如附图5中的流程所示，对于大数据的海量数据提取，一般通过编写数据库语句或者相应的嵌入程序来完成。针对不同的需求，技术人员分别编写相应的提取程序来实现数据提取，并将数据发送给分析人员。而分析人员普遍不具有编写相应程序的技能，这就导致了分析人员每次提出需求后都必须与技术人员沟通本次的查询条件，而技术人员再参照该查询条件提取相应的数据发送给分析人员。

同时，现有大数据的数据库提供商内置的功能函数较少，无法直接满足大数据平台中在线游戏数据的个性化提取要求。针对在线游戏数据的支持性较差。一旦对在线游戏数据的分析需求过多，技术人员编写程序的工作量将会大增，其提供相应数据给分析人员的时间周期也会相应延长。这就很容易导致分析人员得到游戏数据相对滞后，拖慢分析人员对在线游戏数据的处理速度，降低工作效率。

其次，对本发明的实施方式进行具体说明。

如附图1至附图4所示，一种大数据提取方法，包括以下步骤：创建任务模板、创建用户界面以及通过所述用户界面调用所述任务模板进行数据提取；所述创建用户界面步骤包括以下具体步骤：

f1.设置权限输入框，用以根据输入的权限显示可以匹配的所述任务模板；

f2.设置查询输入框与匹配的所述任务模板中的查询输入接口链接，用以输入查询条件；

f3.设置预览区域，用以显示执行所述预处理函数后的查询结果；

f4.设置输出转换接口与相应的转换程序链接，用以将所述预览区域中符合查询条件的数据转换为相应格式后输出。

采用上述步骤，可以提供一个较为友好的用户界面，方便的没有技术基础的分析人员直接操作大数据平台的数据库，进而根据自己的分析需求提取相应数据。

具体的，通过输入操作权限，用户界面可以根据该输入的权限匹配与之相应的一个或多个任务模板供操作人员（一般为分析人员）选择，每种任务模板针对所涉及的在线游戏数据均定义有相应的预处理函数以便于输出符合需求的数据类型供操作人员预览。操作人员在选择好相应的任务模板后可以预览全部被任务模板中预处理函数处理过的数据，进而在查询输入框中输入相应的查询条件，即可补完查询用语句或者相应的程序，使之可以执行，在预览的数据范围内提取符合该查询条件的数据。并以根据操作人员所选择的格式进行数据输出。

如附图4所示，在本实施例中，所述创建任务模板的步骤包括以下具体步骤：m1.根据需求定义预处理函数；m2.调用相应的所述预处理函数，编写查询语句；m3.为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口。

在实际的数据操作中，分析人员对游戏相关的数据进行分析前，往往还需要对游戏数据进行进一步处理，如提取在线时间数据时，往往数据精确到分钟即可，对大数据中的精确到毫秒级的相应数据就需要做相应的转换；又如要分析在线游戏中广告的点击量最大的页面时，则需要结合点击次数的多少和点击时间相对集中的时间区域等查询条件进行提取。以增强该游戏数据的可读性。由于大数据的数据库提供商往往无法提供较个性化的数据提取方法。通常在技术人员提取到初步数据时，还必须进行一次处理使数据具有一定的可读性，以方便分析人员使用。这种针对游戏相关数据的处理，会进一步增加技术人员的工作量，客观上延长了分析人员得到数据的时间。

本发明在通过数据库语句或者相应的提取程序对大数据进行提取时，不同需求主要体现在提取数据的类型和查询条件的不同上。数据库语句以及相应的提取程序的主体本身是大同小异的。因此，本发明采用任务模板的形式构建数据库语句以及相应的提取程序的主体部分，同时在任务模板中根据需求预先定义预处理函数，且在提取程序的主体中预留有查询输入接口，以便于分析人员可以根据不同需求选取不同的任务模板，并将相应的查询条件输入程序本体中，将程序主体补完为一个可执行的数据库语句或者相应的提取程序。最后运行该语句或程序即可从大数据中提取符合需求的相应目标数据。同时，为了增强在线游戏数据的可读性，可以预先针对游戏数据中的不同列属性（字段）编写相应的预处理函数，在查询操作前优先将数据处理好，可以使得分析人员可以直观的预览到其需求的数据，方便其进一步的查询操作。

通过在任务模板中根据需求预先定义预处理函数，以及在交互单元中预留查询输入接口，使得技术人员可以对应在线游戏数据，一次性将不同的预处理函数编写保存。同时，针对不同的需求建立不同的任务模板时，重新定义需要的预处理函数后即可调用该函数以预览对应需求的全体数据。对应不同的任务模板，仅仅需要将相同的程序主体构建完成后预留相应的查询输入接口即可。在实际使用时，分析人员通过该任务模板，按照需求输入相应的查询条件就可以提取预览数据（已经通过预处理函数处理的游戏整体数据）中符合查询条件的游戏数据。将预处理函数与一般的数据库语句活在程序通过任务模板有机结合，可以有效的降低了技术人员的工作量以及分析人员对数据的等待时间，也降低了分析人员与技术人员之间的沟通成本。

在其他实施例中，也可以由技术人员来调用任务模板，输入相应的查询条件，并将提取到的数据发送给提出该需求的分析人员。同样的，也可以节省重复构建程序主体的时间成本。

如附图2所示，在本实施例中，所述m3步骤后还包括以下步骤：

m4.为所述任务模板设定操作权限。

用于区分不同的分析人员对应不同的任务模板。在实际操作中，可能会涉及多个分析人员提出不同分析需求，且分析人员因为职位或者项目或者其他因素导致不能接触彼此的提取数据或者所需要的数据类型差异很大。因此，必须给不同分析人员以不同的权限，使其只能使用其能够达到权限条件的任务模板进行数据提取。

如附图2所示，在本实施例中，所述步骤m3后还包括以下步骤：

m31.所述第一查询条件设置为数据的列表属性；

m32.所述第二查询条件设置为数据的行范围。

在具体实施中，查询条件一般包括数据的列表属性和数据的行范围。这里的列表属性对应数据库中的字段，不同的字段用于存放不同列属性的相应数据。行范围则对应数据库中的一行或者多行数据。根据所选择列表属性（字段）的类型和数目的不同，一行中可能包含若干个对应列表属性的数据。同样的，一行或者多行数据通过行的数目不同来显示行范围的大小。定义查询条件的就是确定查询范围，并从预览的数据中将符合该查询范围的数据提取出来，以满足分析的需求。

所述第一查询条件、第二查询条件仅用于方便描述。具体实施时，也可以先确定行范围（预览数据中对应行的数值和范围）在确定列表属性（预览数据中不同的一个或者多个字段）。

如附图2所示，在本实施例中，所述步骤m32后还包括以下步骤：

m33.为所述列表属性设置选择标记，以被标记后的所述列表属性为有效列表属性。

通过添加标记，可以灵活的选择一个或多个字段（列表属性）条件。如：仅查询预览数据中涉及字段1的数据，或者查询预览数据中涉及字段1和2的数据。等等。在预览数据中有多个字段的数据同时显示时，仅提取部分字段的数据时只用将对应该字段进行标记（以打钩，打叉，圆点标记或者方块标记均可），使其呈现被选择的有效状态，即可提取准确的该数据。

在其他实施例中，也可以采用标记后定义为无效状态的方式来调整查询字符是否参与程序的执行。

如附图2所示，作为一种优选的实施例，所述创建任务模板步骤前还包括以下步骤：

q1.收集针对大数据的提取需求。

对应任务模板的定义，针对不同的提取需求，可以设置不同预处理函数、查询语句或者查询程序以构成不同的任务模板。比如两个需求之间差别太大或者操作权限不同，其所针对的在线游戏数据之间并没有交集或者无法用相同的主程序建构来实现查询，则只能采用不同的任务模板来分别满足该分析需求。

如附图2所示，在本实施例中，所述步骤f4后还包括以下步骤：

f5.用户界面采用网页页面的格式。

采用页面形式可以省去专门创建程序界面的编程流程，也贴近一般网页的操作习惯，提高任务模板的易用性。

在其他实施例中，也可以采用设置专门的用户界面，以提高任务模板性对于操作系统的独立性，使其能够兼容多种操作系统。

如附图2所示，在优选的实施例中，所述步骤f4中所述数据转换为表格后输出。

相对于输出未处理过的无序数据，表格化的数据可以更为容易的是分析人员进行理解和处理。本发明优选采用csv格式的表格。

如附图3所示，为了解决上述问题，本发明还提供一种大数据提取系统，包括：任务模板单元和用户界面单元；所述用户界面单元包括：验证模块，用以进行操作权限验证，根据输入的权限显示可以匹配相应的所述任务模板；预览区域，用以显示通过所述任务模板预处理后的数据；查询输入框，用以为所述任务模板输入查询条件；输出模块，将符合查询条件的数据转换为相应格式后输出。

如附图4所示，在本实施例总，所述任务模板单元包括：预处理函数模块，用以根据需求定义预处理函数；与所述预处理函数模块连接的主程序模块，用以存储编写的查询语句，并调用相应的所述预处理函数；还包括：与所述主程序模块连接的查询接口模块，用以为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口。

如附图4所示，在本实施例中，所述任务模板单元还包括与所述主程序模块连接的权限模块，用以为所述任务模板单元设置操作权限。

上述大数据提取系统的不同功能单元可以部署在多台相互连接的计算机实现对大数据的提取，也可以在一台计算机中部署全部的功能单元以实现大数据的提取。

本发明的大数据提取的方法通过采用采用用户界面调用相应任务模板的方式提取数据，方便数据分析人员的操作。避免了每一次提出分析需求后就需要重新编写相应程序的麻烦。同时，在任务模板上设置与处理函数和预留查询输入接口的方法，通过预处理函数可以有效的优化在线游戏数据预览时的可读性，方便不懂编程的分析人员对大数据提取操作和分析。而采用预留的查询输入接口的方式可以节约分析人员与技术人员的沟通成本，提升了工作效率和对大数据分析的及时性和易用性。

上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (9)

1.一种大数据提取方法，其特征在于，包括以下步骤：创建任务模板、创建用户界面以及通过所述用户界面调用所述任务模板进行数据提取；所述创建用户界面步骤包括以下具体步骤：

f1.设置权限输入框，用以根据输入的权限显示可以匹配的所述任务模板；

f2.设置查询输入框与匹配的所述任务模板中的查询输入接口链接，用以输入查询条件；

f3.设置预览区域，用以显示执行所述预处理函数后的查询结果；

f4.设置输出转换接口与相应的转换程序链接，用以将所述预览区域中符合查询条件的数据转换为相应格式后输出。

2.如权利要求1所述的大数据提取方法，其特征在于，所述创建任务模板的步骤包括以下具体步骤：

m1.根据需求定义预处理函数；

m2.调用相应的所述预处理函数，编写查询语句；

m3.为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口；

m4.为所述任务模板设定操作权限。

3.如权利要求2所述的大数据提取方法，其特征在于，所述步骤m3后还包括以下步骤：

m31.所述第一查询条件设置为数据的列表属性；

m32.所述第二查询条件设置为数据的行范围；

m33.为所述列表属性设置选择标记，以被标记后的所述列表属性为有效列表属性。

4.如权利要求1所述的大数据提取方法，其特征在于，所述创建任务模板步骤前还包括以下步骤：

q1.收集针对大数据的提取需求。

5.如权利要求1所述的大数据提取方法，其特征在于，所述步骤f4后还包括以下步骤：

f5.用户界面采用网页页面的格式。

6.如权利要求1所述的大数据提取方法，其特征在于，所述步骤f4中所述数据转换为表格后输出。

7.一种大数据提取系统，包括：任务模板单元和用户界面单元；其特征在于，所述用户界面单元包括：验证模块，用以进行操作权限验证，根据输入的权限显示可以匹配相应的所述任务模板；预览区域，用以显示通过所述任务模板预处理后的数据；查询输入框，用以为所述任务模板输入查询条件；输出模块，将符合查询条件的数据转换为相应格式后输出。

8.如权利要求7所述的系统，其特征在于，所述任务模板单元包括：预处理函数模块，用以根据需求定义预处理函数；与所述预处理函数模块连接的主程序模块，用以存储编写的查询语句，并调用相应的所述预处理函数；还包括：与所述主程序模块连接的查询接口模块，用以为所述查询语句预留输入第一查询条件和第二查询条件的查询输入接口。

9.如权利要求8所述的系统，其特征在于，所述任务模板单元还包括与所述主程序模块连接的权限模块，用以为所述任务模板单元设置操作权限。