CN109522357A - 一种数据处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、装置、服务器及存储介质，该方法包括：在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示，通过用户自定义数据提取模型和展示模板，可以灵活满足不同用户的不同业务需求，实现对数据的快速处理和灵活显示，提高工作效率和用户体验。

Description

一种数据处理方法、装置、服务器及存储介质

技术领域

本发明实施例涉及计算机大数据处理技术，尤其涉及一种数据处理方法、装置、服务器及存储介质。

背景技术

各行各业都存在基于计算机系统对大数据进行存储、处理分析以及展示输出的需求，虽然对数据的基础处理功能需求类似，但是数据内容、存储格式、输出形式等，都会有客户自己的特殊需求。

现有技术中，对于以往客户的不同需求，一般采取针对性地开发一套功能匹配的系统，其能够满足客户的个性化需求，但作用领域的局限性比较强。这种方式存在许多缺点，如维护成本高、更新响应速度慢、有类似需求需要重新开发新系统等缺点。另外，随着数据量的增加，其数据处理性能大大降低，这必将降低系统使用者的工作效率。

发明内容

本发明实施例提供一种数据处理方法、装置、服务器及存储介质，解决了现有技术中针对客户不同需求设计对应系统的维护成本高以及随着数据量增加，系统处理性能降低导致使用者工作效率降低的问题。

第一方面，本发明实施例提供了一种数据处理方法，包括：

在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

第二方面，本发明实施例还提供了一种数据处理装置，所述装置包括：

模型参数接收模块，用于在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

模型文件生成模块，用于根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

目标数据查找模块，用于根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

目标数据提取模块，用于将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

目标数据展示模块，用于根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种数据处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的一种数据处理方法。

本发明实施例的技术方案，通过在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；进一步在分布式存储集群中查找对应的目标数据；提取至分布式全文数据库中；根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据进行展示。由于用户的模型文件参数和展示模板文件参数都可以由用户自定义，因此可以灵活满足不同用户的不同业务需求，另外利用分布式存储集群存储数据以及利用分布式全文数据库调取目标数据进行显示更加结合了集群可以扩展并存储大量数据以及分布式全文数据库灵活搜索的优点，可以提高系统数据存储和读取的性能，以及用户的工作效率。

附图说明

图1是本发明实施例一中的一种数据处理方法的流程图。

图2是本发明实施例一中的另一种数据处理方法的流程图。

图3是本发明实施例二中的一种数据处理方法的流程图。

图4是本发明实施例二中的一种用户权限对应功能的结构示意图。

图5是本发明实施例二中的一种数据处理系统的框架结构示意图。

图6是本发明实施例三中的一种数据处理装置的结构示意图。

图7是本发明实施例四中的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于数据处理的情况，该方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件实现，可以配置于服务器中，该方法具体包括如下步骤：

S110、在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数。

用户交互界面可以是用户与系统之间进行交互操作时显示的界面，比如可以是web网页，用户可以通过该用户交互界面中对应位置输入某些关键词或字段来获取最终的想要获得的数据，该数据可以在web网页中显示以供用户查看。

数据提取模型可以是供用户编辑操作处理数据条件以及系统查找数据的模板、方式或规则，比如数据提取模型可以包括用户进行写入和/或读取数据的方式。具体的，用户交互界面可以提供数据提取模型输入接口，该输入接口可以供用户输入模型配置参数，模型配置参数是可以对数据提取模型进行编辑的某些字段、选项或菜单中涉及到的关键词。不同的用户可以针对自己的需求输入不同的模型配置参数。示例性的，购物网站中搜索一个商品时，用户可以在web网页中商品名称，编号，价格和/或款式等属性的对应位置输入相应的数据，比如输入的不同属性对应的数据即可以指模型配置参数，用于系统进行检索对应目标数据的方式，例如按照商品名称，价格和/或款式等进行查找目标商品。

针对不同的用户需求可以设计对应不同的数据提取模型，示例性的，可以针对购物网站，银行网站等不同类型的行业，由于原始数据以及业务需求等的不同，可以针对性的设计不同的数据提取模型。

S120、根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件。

数据提取模型模板可以是针对不同的网站或用户设计的进行数据处理的固定格式模板，数据提取模型模板包括一些针对用户进行数据的写入和/或读出操作时的基本结构和内容。数据提取模型模板可以起编辑引导的作用，所罗列的填写项可以不都是必填的，即可以设置模板中的部分可以被用户编辑，部分不可被用户编辑。可选的，所述用户交互界面通过web网页形式实现，所述数据展示模板通过web网页形式提供给所述用户。

用户可以根据数据提取模型模板以及自己的需求在数据提取模型模板中编辑或输入相应的模型配置参数，系统可以根据模型配置参数和数据提取模型模板生成相应的数据提取模型文件。数据提取模型文件包括了用户具体想要进行处理的数据以及具体的操作等，系统可以根据数据提取模型文件对相应数据进行数据操作，比如如果数据提取模型文件中包括了用户对某B字段的数据进行查看或搜索的操作，则系统可以根据数据提取模型文件查找涉及到B字段的相关数据。另外，系统可以实时根据业务发展，数据内容和类型等的变化对数据提取模板进行修正和调整，以更好的满足使用者的需求。

S130、根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据。

在本实施例中，所有的数据可以存储于分布式存储集群中，由于分布式系统中的各个节点服务可以独立工作，同时由于易于扩展，可以方便增加节点对新增加的数据进行处理，可以灵活的存储大量数据。目标数据可以是根据数据提取模型文件在分布式存储集群中查找到的与用户需求有关联的数据。例如用户在购物网站中输入的模型配置参数包括商品的名称对应为A商品，则数据提取模型文件可以包括：用户进行的操作为搜索，根据商品名称A进行查找相关数据，则系统可以根据该商品名称A查找对应的相关商品数据。示例性的，查找目标数据可以是查找与数据提取模型文件中包括的查找目标关键词或字段相关联的数据，比如在分布式存储集群中可以是分块查找，按照分块的大小确定目标数据的位置，或者按照文件分类进行查找，或者按照上下文字段的相关性进行查找，比如购物网站中输入的上新时间和商品类型等查找。

S140、将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中。

分布式全文数据库用于存储和处理从分布式存储集群中提取出来的目标数据，由于分布式数据库在使用上可视为一个完整的数据库,而实际上它是分布在地理分散的各个节点上，并且分布在各个节点上的子数据库在逻辑上是相关的，比如是有一定索引关系的。因此，在将目标数据提取至分布式全文数据库中可以方便后续的数据查找和调用。

S150、根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

数据展示模板可以是用于展示查找到的目标数据的格式模板，包括展示的目标数据的基本格式和内容。由于分布式全文数据库中有完整的字段，以及索引关系，因此系统可以根据数据展示模板中要展示的字段以及相应的内容，从分布式全文数据库中调用目标数据，在数据展示模板中规定的对应的位置中进行展示，以供用户方便查看展示内容。该数据展示模板可以是用户根据自己的业务需求自定义，比如对于购物网站而言，用户想要按照列表的形式展示各个搜索到的商品，并且按照销量或好评高低展示各个搜索到的商品，用户的这些需求均可以定义到数据展示模板中。还对于某些行业的数据，还可以在展示模板中定义以纯文本、表格或柱状图等形式进行展示。

可选的，所述分布式存储集群为hadoop集群，所述分布式全文数据库为solr数据库。其中，hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。hadoop维护了多个数据副本，确保能够针对失败的节点重新分布处理，同时以并行的方式工作，加快处理速度，增加了数据处理过程中的可靠性和高效性。其中，hadoop的框架包括HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce可以海量的数据提供计算。solr数据库服务器可以对外提供类似于Web-service的API接口，具有高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性，提供一套强大Data Schema来定义字段，类型和设置文本分析，提供基于Web的管理界面等。

可选的，将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中包括：

通过部署于所述分布式存储集群中的数据提取程序，提取所述目标数据；

通过部署于所述分布式全文数据库中的数据入库程序，将所述目标数据存储至所述分布式全文数据库中。

其中，对于从分布式存储集群中提取目标数据可以利用专门的应用程序进行提取，而数据提取程序是预先设置好的用于从分布式存储集群中提取数据的程序。数据入库程序是预先设置好的用于将数据存储入分布式全文数据库中的程序。其中，数据提取程序可以部署于到hadoop集群任意结点上，而数据入库程序可以部署到solr集群任意结点上，另外对目标数据进行展示的功能可以有专门的展示程序完成，该展示程序可以单独部署到一台服务器中。

示例性的，图2是本发明实例一中的一种数据处理方法的流程图，如果交互界面是在一个web网站，数据处理的具体流程如图2所示：系统通过接收用户在数据提取模型输入接口中用户输入的模型配置参数，然后生成数据提取模型文件，并将对应的目标数据提取任务发送到分布式数据提取程序，该分布式数据提取程序从hadoop集群中的HDFS分布式文件系统中提取目标数据，然后执行入库任务，可以利用数据入库程序将该目标数据存储入solr数据库中的对应部分，比如日志库，模型库和动作库等。进一步系统根据用户定义的数据展示模板，调用solr数据库中的目标数据，以进行展示。

本实施例的技术方案，由于用户的模型文件参数和展示模板文件参数都可以由用户自定义，因此可以灵活满足不同用户的不同业务需求，可以成为大数据处理业务的通用方法。另外利用分布式存储集群存储数据以及利用分布式全文数据库调取目标数据进行显示更加结合了hadoop集群可以扩展并存储大量数据以及solr数据库方灵活搜索的优点，可以提高系统数据存储和读取的性能，以及用户的工作效率。

实施例二

图3是本发明实施例二提供的一种数据处理方法的流程图，在上述实施例的基础上，做了进一步的优化，如图3所示，该方法具体包括：

S210、根据用户权限获取所述用户对应数据范围的可提取数据条件。

用户权限可以是用户对应可以对使用的系统资源，比如功能菜单项、按钮、输入控件等的使用或访问权限。例如，可以将用户分为：普通用户和管理员用户等，当然可以根据业务具体情况更加细化权限以及用户分类。示例性的，普通的用户可以是应用系统的具体操作者，可以拥有一定范围的权限，比如对某一部分数据可以编辑，而对另外一部分数据只能读取。管理员用户可以是对应用系统的维护和管理者，可以拥有更高的权限，比如添加普通用户以及设置普通用户的权限等。可提取数据条件可以是用户权限对应的数据范围内可以进行的数据处理操作，例如，如果某个用户对权限范围内的A数据可以进行只读操作，对B数据可以进行可编辑等操作，则相应的可提取数据条件即可以是A数据的只读以及B数据的可编辑等操作。

S220、将所述可提取数据条件在用户交互界面进行展示，并在用户交互界面提供与所述可提取数据条件匹配的数据提取模型输入接口，其中，所述输入接口为选项或输入框。

在用户交互界面进行展示可提取数据条件，以及与可提取数据条件匹配的数据提取模型输入接口，比如若用户对权限下A数据进行只读。则对相应可操作的数据是只读条件，同时针对该A数据只读的可提取数据条件匹配的数据提取模型中，应该包括了A数据的相关可选操作，用户可以在相应的选项或输入框的输入接口中输入数据配置参数，比如输入文件名称，或创建时间等查找条件进行查找和检索。选项或输入框可以是用于用户输入对应字段或条件的位置，数据提取模型可以通过选项或输入框接收到用户输入的模型配置参数。

S230、通过所述数据提取模型输入接口接收用户在选项或输入框中输入的模型配置参数。

S240、根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件。

S250、根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据。

S260、将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中。

S270、根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

可选的，根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件包括：

根据所述模型配置参数和数据提取模型模板，生成包括数据索引式的数据提取模型文件。具体的，数据提取模型文件可以是数据索引式的，建立索引可以加快对记录数据的查找或排序，可以提高系统对目标数据获取的效率。

可选的，所述数据提取模型输入接口包括下述至少一项：统计公式；数据检索项；日志管理项；以及动作；所述用户交互界面提供有所述数据展示模板和所述数据提取模型模板的添加、编辑、删除、查找和下发功能；以及提供有用户权限管理功能，所述用户权限为用户处理已存储数据范围的权限。

示例性的，图4是本发明实施例二中的一种用户权限对应功能的结构示意图，如图4所示，如果是普通用户，普通用户拥有的权限下对应可以执行的操作包括：数据提取模型的管理，比如添加模型，编辑模型，删除模型，查找模型和下发模型等，其中，下发模型具体可以将设置好的数据提取模型发送至系统；以及对数据展示模板的管理，比如添加模板，编辑模板，删除模板和查找模板等。相应的，在用户交互界面可以提供由数据展示模板和数据提取模型的添加，编辑、删除、查找和下发功能，以供用户在交互界面上进行相应功能的操作。

当然，普通用户还可以执行其他功能，比如统计功能；数据检索功能；日志管理功能；以及动作等，其中，日志管理功能可以有查看明细和检索日志等；数据检索功能可以是利用输入的简单检索条件或复合条件等进行检索数据等，统计功能可以用户对数据进行统计，比如按照总量统计，条件统计或分类条件等，以便后续可以精准快速的查找与分类，动作可以是用户对数据的处理操作，比如读取，写入，增加，删除和修改等动作。相应的，数据提取模型输入接口可以包括：统计公式；数据检索项；日志管理项；以及动作等，用户可以通过不同的输入接口输入相应的需求。另外，普通用户还可以执行系统的登录和退出等相关操作。

如图4所示，如果是管理员用户，相比普通用户拥有更多的权限并可以执行更多的功能，比如对普通用户的权限管理，比如角色管理，动作管理和菜单管理。对于角色管理，角色定位了拥有此角色的所有管理员权限，不同的角色可以按需分配不同的权限配置。而角色管理可以包括添加角色，删除角色，编辑角色和查询角色等功能；编辑角色具体可以指为角色分配动作，即分配该角色可以对数据执行的操作，比如增加、删除和/或修改等。对于动作管理，动作可以是指用户可以对自己对应权限范围内数据的处理或操作，比如读取，写入，增加，删除和修改等动作。而动作管理可以包括添加动作，编辑动作，删除动作和查找动作等。对于菜单管理，菜单可以是交互界面上的各个功能选项列表，不同的菜单显示的功能选项可以不同和/或显示选项的方式不同，而菜单管理可以包括添加菜单，编辑菜单，删除菜单和查找菜单等。

管理员用户除了对权限管理之外，还可以包括用户管理，模型管理和日志管理等。其中，用户管理包括修改用户，删除用户，添加用户，查询用户和分配角色等；而模型管理是对数据提取模型的管理，比如添加模型，删除模型，编辑模型和修改模型等。当然，根据不同的业务类型和需求可以为用户分配不同的权限以及可以执行的一个或多个功能。

图5是本发明实施例二中的一种数据处理系统的框架结构示意图。在具体实施的过程中，该系统的功能架构图如图5所示，该系统包括存储层，服务层和业务应用层，用户角色层。其中存储层可以用于在数据库中存储业务数据，具体可以利用mysql关系型数据库管理系统将根据数据提取模型文件提取到的目标数据存储在solr数据库中。服务层用于提供用户进行相应的服务，其中，服务通信可以采用REST模式的体系架构，业务服务模块可以包括以下功能：用户服务，权项服务，模型服务，日志服务，统计服务和检索服务等，可以参考上述普通用户和管理员用户可以执行的一些功能。在业务应用层的功能是与服务层中的业务服务模块功能对应的，包括权限管理，用户管理，模型管理，统计功能，检索引擎和日志管理等。用户角色包括普通用户和管理员用户。

本实施例的技术方案，根据用户权限获取所述用户对应数据范围的可提取数据条件，并在交互界面提供匹配的数据提取模型输入接口，用户的模型文件参数和展示模板文件参数都可以由用户相应权限下进行自定义操作，因此可以灵活满足一个客户系统中不同用户的不同业务需求。另外，由于不同用户拥有不同权限进行相应的数据操作，构建了很好的用户管理系统，利于客户对系统数据的维护和处理。

实施例三

图6为本发明实施例三提供的一种数据处理装置的结构示意图，如图6所示，所述装置包括：

模型参数接收模块610，用于在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

模型文件生成模块620，用于根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

目标数据查找模块630，用于根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

目标数据提取模块640，用于将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

目标数据展示模块650，用于根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

可选的，所述分布式存储集群为hadoop集群，所述分布式全文数据库为solr数据库。

可选的，所述模型参数接收模块610，包括：

提取条件获取单元，用于根据用户权限获取所述用户对应数据范围的可提取数据条件；

输入接口提供单元，用于将所述可提取数据条件在用户交互界面进行展示，并在用户交互界面提供与所述可提取数据条件匹配的数据提取模型输入接口，其中，所述输入接口为选项或输入框；

配置参数接收单元，用于通过所述数据提取模型输入接口接收用户在选项或输入框中输入的模型配置参数。

可选的，所述模型文件生成模块620，具体用于根据所述模型配置参数和数据提取模型模板，生成包括数据索引式的数据提取模型文件。

可选的，所述目标数据提取模块640，包括：

目标数据提取单元，用于通过部署于所述分布式存储集群中的数据提取程序，提取所述目标数据；

目标数据存储单元，用于通过部署于所述分布式全文数据库中的数据入库程序，将所述目标数据存储至所述分布式全文数据库中。

可选的，所述用户交互界面通过web网页形式实现，所述数据展示模板通过web网页形式提供给所述用户。

可选的，所述数据提取模型输入接口包括下述至少一项：统计公式；数据检索项；日志管理项；以及动作；所述用户交互界面提供有所述数据展示模板和所述数据提取模型模板的添加、编辑、删除、查找和下发功能；以及提供有用户权限管理功能，所述用户权限为用户处理已存储数据范围的权限。

本发明实施例所提供的数据处理装置，可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的一种数据处理方法。

实施例四

参见图7，本实施例提供了一种服务器700，其包括：一个或多个处理器720；存储装置710，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器720执行，使得所述一个或多个处理器720实现本发明实施例所提供的一种数据处理方法，包括：

在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。当然，本领域技术人员可以理解，处理器720还可以实现本发明任意实施例所提供的一种数据处理方法的技术方案。

图7显示的服务器700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，服务器700以通用计算设备的形式表现。服务器700的组件可以包括但不限于：一个或者多个处理器720，存储装置710，连接不同系统组件(包括存储装置710和处理器720)的总线750。

总线750表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

服务器700典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置710可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)711和/或高速缓存存储器712。服务器700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统713可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线750相连。存储装置710可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块715的程序/实用工具714，可以存储在例如存储装置710中，这样的程序模块715包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块715通常执行本发明所描述的任意实施例中的功能和/或方法。

服务器700也可以与一个或多个外部设备760(例如键盘、指向设备、显示器770等)通信，还可与一个或者多个使得用户能与该服务器700交互的设备通信，和/或与使得该服务器700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口730进行。并且，服务器700还可以通过网络适配器740与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器740通过总线750与服务器700的其它模块通信。应当明白，尽管图中未示出，可以结合服务器700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器720通过运行存储在存储装置710中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种数据处理方法。

实施例五

本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法包括：

在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种数据处理方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

2.根据权利要求1所述的方法，其特征在于：所述分布式存储集群为hadoop集群，所述分布式全文数据库为solr数据库。

3.根据权利要求1所述的方法，其特征在于，在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数包括：

根据用户权限获取所述用户对应数据范围的可提取数据条件；

将所述可提取数据条件在用户交互界面进行展示，并在用户交互界面提供与所述可提取数据条件匹配的数据提取模型输入接口，其中，所述输入接口为选项或输入框；

通过所述数据提取模型输入接口接收用户在选项或输入框中输入的模型配置参数。

4.根据权利要求3所述的方法，其特征在于，根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件包括：

根据所述模型配置参数和数据提取模型模板，生成包括数据索引式的数据提取模型文件。

5.根据权利要求1所述的方法，其特征在于，将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中包括：

通过部署于所述分布式存储集群中的数据提取程序，提取所述目标数据；

通过部署于所述分布式全文数据库中的数据入库程序，将所述目标数据存储至所述分布式全文数据库中。

6.根据权利要求1所述的方法，其特征在于，所述用户交互界面通过web网页形式实现，所述数据展示模板通过web网页形式提供给所述用户。

7.根据权利要求1-6任一所述的方法，其特征在于，所述数据提取模型输入接口包括下述至少一项：统计公式；数据检索项；日志管理项；以及动作；

所述用户交互界面提供有所述数据展示模板和所述数据提取模型模板的添加、编辑、删除、查找和下发功能；以及提供有用户权限管理功能，所述用户权限为用户处理已存储数据范围的权限。

8.一种数据处理装置，其特征在于，所述装置包括：

模型参数接收模块，用于在用户交互界面提供数据提取模型输入接口，并通过所述数据提取模型输入接口，接收用户输入的模型配置参数；

模型文件生成模块，用于根据所述模型配置参数和数据提取模型模板，生成数据提取模型文件；

目标数据查找模块，用于根据所述数据提取模型文件，在分布式存储集群中查找对应的目标数据；

目标数据提取模块，用于将所述目标数据从所述分布式存储集群中，提取至分布式全文数据库中；

目标数据展示模块，用于根据用户定义的数据展示模板，调用所述分布式全文数据库中的目标数据，进行展示。

9.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的一种数据处理方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的一种数据处理方法。