CN110336863A - 一种数据上报方法和系统 - Google Patents

Abstract

本发明涉及一种数据上报方法和系统，包括：数据管理平台接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；所述数据管理平台根据所述配置项信息确定数据上报类型；当所述数据上报类型为代理上报类型时，代理服务器从所述数据管理平台获取配置信息；所述代理服务器基于所述配置信息生成第一配置文件；所述代理服务器根据所述第一配置文件将数据上报至第一目标存储服务器，实现了数据的自动上报，提升了数据上报的效率。

Description

一种数据上报方法和系统

技术领域

本公开涉及数据管理技术领域，具体涉及一种数据上报方法和系统。

背景技术

日志管理系统近几年发展十分迅速，越来越多的企业认识到日志管理系统的重要性，日志管理系统帮企业管理切实有效降低了成本。

当前流行的日志系统套件，大多利用ELK(Elasticsearch+Logstash+Kibana)/EFK(Elasticsearch+Filebeat+Kibana)等日志组件搭建日志监控系统。利用ELK/EFK组件搭建日志监控系统，需要登录每台需要上报的客户端进行日志配置(或预先配置好通过工具统一下发)，方可上报日志。当涉及海量服务和大批量服务器的时候，配置和管理这些大批量的机器、集群、以及整体的管理变得异常困难和不可控。因此，现有的日志管理系统有待优化。

发明内容

本公开提出了一种数据上报方法和系统，能够实现数据的自动上报。本公开具体是以如下技术方案实现的：

一方面，本公开提供了一种数据上报方法，包括：

数据管理平台接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；

所述数据管理平台根据所述配置项信息确定数据上报类型；

当所述数据上报类型为代理上报类型时，代理服务器从所述数据管理平台获取配置信息；

所述代理服务器基于所述配置信息生成第一配置文件；

所述代理服务器根据所述第一配置文件将数据上报至第一目标存储服务器。

另一方面，本公开提供了一种数据上报系统，所述系统包括：数据管理平台、代理服务器、第一目标存储服务器和第二目标存储服务器；

所述数据管理平台，用于接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；用于根据所述配置项信息确定数据上报类型；

所述代理服务器，用于当所述数据上报类型为代理上报类型时，从所述数据管理平台获取配置信息；用于基于所述配置信息生成第一配置文件；用于根据所述第一配置文件将数据上报至所述第一目标存储服务器。

本公开提供了一种数据上报方法和系统，数据管理平台根据用户触发的包括配置项信息的数据上报配置请求确定数据上报类型，当数据上报类型为代理上报类型时，由代理服务器基于数据管理平台中的配置信息生成第一配置文件，再基于第一配置文件将数据上报至第一目标存储服务器。本公开将数据上报的配置信息统一存储到数据管理平台，从而可以在数据管理平台实现配置信息的统一管理(增加、删除、修改配置信息)，当有数据需要上报时，由代理服务器从数据管理平台拉取配置信息，并基于配置信息生成配置文件，从而基于该配置文件将数据上报到目标存储服务器中，实现了数据的自动上报，提升了数据上报的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是现有技术提供的一种基于Filebeat的ELK集群的架构示意图；

图2是本发明实施例提供的一种数据上报方法的系统架构示意图；

图3是本发明实施例提供的一种数据上报方法的流程示意图；

图4是本发明实施例提供的一种基于代理服务器器进行数据上报的流程示意图；

图5是本发明实施例提供的一种根据操作权限确定是否提供接入配置的方法的流程示意图；

图6是本发明实施例提供的一种基于应用程序接口网关进行数据上报的流程示意图；

图7是本发明实施例提供的另一种基于应用程序接口网关进行数据上报的流程示意图；

图8是本发明实施例提供的一种用户管理端接入日志配置方法的流程图；

图9是本发明实施例提供的一种利用日志代理进行日志数据上报方法的流程图；

图10是本发明实施例提供的一种利用应用程序接口网关进行日志数据上报方法的流程图；

图11是本发明实施例提供的一种日志管理端的功能模块示意图；

图12是本发明实施例提供的一种日志代理服务器的功能模块示意图；

图13是本发明实施例提供的一种日志应用程序接口网关的功能模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本发明数据上报的方法，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

图1是现有技术提供的一种基于Filebeat的ELK集群的系统架构示意图，如图1所示，该系统架构包括Filebeat、Logstash、ES集群和Kibana(Kibana图中未示出)，其中，Logstash不是必须的。

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于全文搜索引擎库Apache Lucene构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能。

Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。

Kibana：数据分析和可视化平台。通常与Elasticsearch配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。

Filebeat：ELK协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于Logstash-Forwarder源代码开发，是对它的替代。在需要采集日志数据的server上安装Filebeat，并指定日志目录或日志文件后，Filebeat就能读取数据，迅速发送到Logstash进行解析，亦或直接发送到Elasticsearch进行集中式存储和分析。

利用ELK/EFK组件搭建日志监控系统，需要登录每台需要上报的客户端进行日志配置(或预先配置好通过工具统一下发)，方可上报日志。而且不同的业务、不同的路径、不同格式的日志文件、不同业务所要上报的日志集群的配置都不一样，其中有一样不同则需要单独配置这个日志配置；用户一旦通过一Api(Api,application programminginterface，应用程序接口，又称为应用编程接口)接入，后续如果es集群地址更改就得相应修改程序代码和发布，相对管理较为复杂且增加了系统的维护成本；并且各个业务写死es集群地址也不利于统一管理。

主要的挑战在于，当涉及海量服务大批量服务器的时候，配置和管理这些大批量的机器、集群，以及整体的管理变得异常困难和不可控。并且配置均分散在不同的客户端机器，没有整体的可视化的统一系统能够了解到当前所有系统的日志配置情况及上报情况。并且，这种上报客户端的配置格式及参数是特定的，每种客户端不一样的，要求严格，需要相对专业的人员来操作。

图2是本发明实施例提供的一种数据上报方法的系统架构示意图，如图2所示，图2主要以数据为日志数据为例进行说明，在实际应用中，并不以此为限定，该应用场景包括用户端、客户端以及ES集群。

实际应用中，所述用户端可以包括多个管理端、Kibana数据库、ES应用程序接口ESApi服务器等。管理端可以是服务器及相应的客户端的组合，其中服务器可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。所述用户端可以为可以连接无线网络的设备，可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。所述用户端02可以是移动用户的移动终端。

实际应用中，所述客户端为数据产生/生成客户端，可以是服务器或者是数据库，可以产生或生成例如接入层日志、业务自定义日志、数据日志等数据。

进一步的，基于本说明书提供的实施例，日志代理可以是在独立的服务器中运行的软件，也可以是集成在每个数据生成或产生的客户端上的软件。日志代理可以包括日志采集器，其包括但不限于filebeat或Logstash。

进一步的，基于本说明书提供的实施例，日志API网关可以为一个或多个API网关服务器组成。

具体的，所述ES集群可以包括多个由多个服务器组成的服务器簇，用于分簇存储数据。

本发明通过中心化配置管理和客户端agent定时(或实时)拉取(或主动推送)服务器配置相结合，实现了日志配置的自动化接入，自动上报，自动更新配置等功能；并且针对相同业务相同模块的客户端机器上报日志达到批量自动化接入的目的，有效的提升了大批量机器日志上报的高效接入。

图3是本发明实施例提供的一种数据上报方法的流程示意图，如图3所示，具体包括：

S301：数据管理平台接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息。

其中，用户触发数据上报配置请求是为了进入数据管理平台进行数据上报配置。

数据管理平台可以是一个或多个应用程序或客户端，用户通过数据管理平台可以配置数据上报的配置信息，以及管理一个或多个数据业务的归属信息和不同用户对该数据业务的操作权限等。

S303：数据管理平台根据所述配置项信息确定数据上报类型。

具体的，数据管理平台根据配置项信息确定数据上报类型，可以是根据配置项中记录的具体数据上报类型，也可以是根据配置项的格式对数据上报类型进行区分。

S305：当所述数据上报类型为代理上报类型时，代理服务器从所述数据管理平台获取配置信息。

数据管理平台统一管理了所有数据产生客户端需要上报数据的配置信息，从而可以通过代理软件或服务器去数据管理平台获取数据上报需要的配置信息。

具体的，若代理服务器根据客户端本地存储的配置版本判断数据管理平台没有更新配置信息则不需要多次获取配置信息。需要说明的是，本文中所述“代理服务器”，可以是指代代理软件，其可安装在数据产生的客户端上，也可以是独立的代理服务器，其实现代理功能。

其中，代理服务器可以通过远程HTTP接口获取配置信息，也可以通过服务器socket方式实现。Socket，又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。

代理服务器获取服务器日志配置信息，也可以通过数据管理平台主动推送配置信息到日志客户端，日志客户端负责接收服务器配置信息。

S307：代理服务器基于所述配置信息生成第一配置文件。

S309：代理服务器根据所述第一配置文件将数据上报至第一目标存储服务器。

其中，第一目标存储服务器可以是一个或多个服务器。

S311：当所述数据上报类型为应用程序接口网关上报类型时，所述数据管理平台向应用程序接口网关发送第二配置文件。

具体的，不同数据产品的业务可以通过应用程序接口网关接入，从而可以通过应用程序接口网关实现多业务的接入控制。

S313：应用程序接口网关基于所述第二配置文件将数据上报至第二目标存储服务器。

其中，第二目标存储服务器可以是一个或多个服务器。

具体的，第二目标存储服务器可以与第一目标存储服务器相同，也可以不相同。

本发明实施例通过将数据上报的配置信息统一存储到数据管理平台，从而可以在数据管理平台实现配置信息的统一管理(增加、删除、修改配置信息)，当有数据需要上报时，由代理服务器从数据管理平台拉取配置信息，并基于配置信息生成配置文件，从而基于该配置文件将数据上报到目标存储服务器中，实现了数据的自动上报，提升了数据上报的效率。

图4是本发明实施例提供的一种基于代理服务器器进行数据上报的流程示意图，如图4所示，所述方法具体包括：

S401：代理服务器获取本地配置文件的配置信息；

S403：代理服务器根据所述配置信息判断所述本地配置文件的配置信息是否有更新。

实际操作中，可以根据代理服务器本地记录的配置版本信息判断管理端的配置是否有更新。

S405：当本地配置文件的配置信息有更新时，代理服务器基于所述配置信息生成新的第一配置文件。

S407：代理服务器根据所述新的第一配置文件确定新的第一目标存储服务器。

S409：代理服务器向所述新的第一目标存储服务器上报数据。

本发明实施例通过代理服务器判断配置信息是否有更新，若有更新，代理服务器获取新的配置信息，并将新的配置信息生成配置文件，再根据新的配置文件上报数据，从而实现了数据的自动上报，避免了需要到每个数据产生客户端进行配置信息的更新的麻烦。

图5是本发明实施例提供的一种根据操作权限确定是否提供接入配置的方法的流程示意图，如图5所示，具体包括：

S501：数据管理平台根据用户权限信息判断用户的数据上报配置操作权限。

其中，用户权限信息包括在数据上报配置请求中，用户权限信息是基于系统管理员客户端的分配所生成的信息。例如，给用户A分配了B权限，则用户A在登录数据管理平台时，可以使用B权限。

S503：当判断用户具有所述数据上报配置操作权限时，所述数据管理平台基于所述配置项信息确定数据上报类型。

本公开通过权限信息的设置，使得只有具有相应权限的用户才能使用权限对应的操作，提高了用户进行数据上报的安全性。

图6是本发明实施例提供的一种基于应用程序接口网关进行数据上报的流程示意图，如图6所示，具体包括：

S601：应用程序接口网关接收用户发送的数据上报请求。

其中，数据上报请求中包括用户名和由数据管理平台分配给用户的令牌信息。

S603：应用程序接口网关基于所述数据上报请求进行接口权限鉴权和用户权限鉴权。

其中，接口权限的鉴权可以根据白名单判断HTTP操作方法进行鉴权，用户权限鉴权可以基于用户名、令牌等信息。

S605：当所述接口权限鉴权和用户权限鉴权都通过时，应用程序接口网关根据所述第二配置文件确定第二目标存储服务器。

其中第二配置文件是管理端审批通过时下发的配置文件。

S607：应用程序接口网关基于所述第二配置文件向所述第二目标存储服务器上报数据。

本说明书实施例中的方法通过接口鉴权和用户鉴权双重鉴权，提升了数据业务处理的安全性，另外，直接使用在接入配置时管理端下发的配置文件，可以方便快捷地实现数据上报。

图7是本发明实施例提供的另一种基于应用程序接口网关进行数据上报的流程示意图，如图7所示，具体包括：

S701：应用程序接口网关对数据索引进行拆分，得到拆分后的数据索引。

具体的，对数据索引进行拆分可以是按天进行拆分，也可以根据实际需要进行其他方式的拆分。在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构。索引提供指向存储在表的指定列中的数据值的指针，然后根据您指定的排序顺序对这些指针排序。数据库使用索引以找到特定值，然后顺指针找到包含该值的行。这样可以快速访问数据库表中的特定信息。

在本说明书的实施例中，由于主要描述的是日志数据的管理，因此该步骤是对日志索引进行拆分，得到拆分后的日志索引。

S703：应用程序接口网关根据所述第二配置文件确定所述拆分后的数据索引对应的数据需要上报的第二目标存储服务器。

在本发明实施例中，由于配置项信息中已配置了日志索引和日志需要上报的集群(目标存储服务器)之间的对应关系，因此，可以根据配置文件确定出目标存储服务器。

S705：应用程序接口网关将所述拆分后的数据索引对应的数据发送到所述第二目标存储服务器。

在本发明实施例中，通过对数据索引按天拆分，并存储到相应的存储服务器中，使得后期可以快速方便地查找日志数据。下面以日志数据为例进一步描述本说明书实施例的数据上报方案，如图8所示，图8提供了一种用户管理端接入日志配置方法的流程图。

用户首先在管理端申请接入，接入配置项包括日志名称、所属产品、日志索引、日志路径、日志上报的集群、日志文件格式、日志标签、绑定的客户端服务器ip(支持单ip或多ip)或所属资源模块ID(支持单模块ID或多模块ID)、日志保存时长等信息。其中，上报的类型可包括agent方式上报、Api方式上报，申请agent上报方式可同步开通Api上报(agent上报方式，需在目标服务器安装日志管理端，如filebeat或Logstash；Api上报方式无需安装日志管理端，直接通过Api接口采用http方式上报数据)。系统管理员审核通过后，将该日志申请信息配置记录于数据库，同时，如果是Api上报方式(或agent上报方式同步开通了Api上报)，则还需要下发该配置信息到Api网关服务器，该配置信息主要包括日志索引名以及对应需要上报的ElasticSearch集群。

如图9所示，图9提供了一种利用日志代理进行日志数据上报方法的流程图。

首先在需要上报日志的服务器部署日志上报客户端，agent通过远程http接口定时获取本机ip对应的配置信息，如果http接口返回有配置信息或配置更新信息，则通过配置生成模块，按照接口返回的配置信息生成日志客户端需要的配置文件，并重启日志上报客户端，使配置生效，日志上报客户端即可根据最新的配置信息上报日志。如图10所示，图10提供了一种利用应用程序接口网关进行日志数据上报方法的流程图。

该Api网关主要针对采用Api上报日志使用，调用该Api时，需要将用户名、分配的token作为参数传递。Api接受到请求(请求中包括用户名、token)后，首先根据白名单判断该HTTP操作方法鉴权，鉴权不通过返回失败信息；鉴权通过后，根据Api中参数数据进行用户权限鉴权，鉴权不通过返回失败信息；会对日志进行按天拆分索引,并且根据管理端审批通过时下发的配置文件，确定该日志索引需要上报的集群，并将该请求的数据转发到对应的ElasticSearch集群。

需要说明的是，应用程序接口网关主要是用作数据上报，但其实不只是做上报，也可以做查询和检索数据。比如，用户使用日志代理上报方式上报数据，同步开通应用程序接口网关，使用应用程序接口网关进行数据查询和检索(并且，只要上报数据格式统一，可以同时使用代理服务器和Api网关进行数据上报)

应用程序接口网关的另外一个主要是作用是对用户提供一个统一的Api地址，收敛后台的各个不同的ES存储服务器的应用程序接口地址，对于用户来说只有一个地址，降低了ES存储服务器的集群信息对外暴露带来的风险。

下面具体介绍本发明实施例提供的系统架构中日志管理端模块、日志代理服务器和日志应用程序接口网关的具体功能模块。如图11所示，图11提供了一种日志管理端的功能模块示意图。

管理端模块，主要用于日志接入申请、日志相关信息的配置管理、权限管理、申请流程审批、用户日志管理等后台管理功能，管理端模块分为系统管理员模块和用户操作模块。

其中系统管理员操作模块主要包括：

权限管理模块，主要用于系统用户权限角色分配，包括超级管理员、普通管理员、分别有哪些模块操作权限分配等功能；

ElasticSearch集群管理模块，用于增加、管理后端ElasticSearch存储集群，主要信息包括集群名、集群别名(或标签，主要便于用户识别)、集群URL地址、对应的kibana URL地址等功能；

产品组织架构管理模块，主要用于新增、管理公司或企业里组织架构分配，便于日志产品归属权限管理；

业务产品配置管理模块，主要用于新增、管理日志业务产品、产品归属及业务产品负责人授权管理等功能；

日志申请审批模块，用于管理用户日志配置接入申请，可驳回或审批通过；

配置下发模块，主要用于针对用户Api上报方式下发API网关配置文件；

集群信息统计模块，主要用于统计所有已接入的ElasticSearch集群的集群健康状态、集群使用量、每日新增日志统计、集群存储总量趋势、集群日志搜索量统计等信息，便于运营和管理；

数据清理模块，主要用于根据配置申请时的规则(或系统预定义规则)，通过es集群提供的Api定时(或按实际需要)清理集群历史数据，以释放集群存储空间。

其中，用户操作模块主要包括：Agent日志上报配置管理模块，主要用于新申请agent方式上报业务日志接入配置，配置项包括：日志名称、所属产品、日志索引、日志路径、日志上报的集群、日志文件格式、日志标签、绑定的客户端服务器ip(支持单ip或多ip)或所属资源模块ID(支持单模块ID或多模块ID)、日志保存时长等信息；

其中，日志索引、日志路径、日志上报的集群、日志文件格式、日志标签等信息为日志客户端(filebeat或Logstash等)所必须的配置信息。同时，agent日志上报申请支持同步开通Api上报功能；API日志上报配置管理模块，主要用于新申请Api方式上报业务日志接入配置，主要包括日志名称、所属产品、日志索引、日志路径、日志上报的集群、日志保存时长、调用方名称等信息；

日志配置信息管理模块，主要用于查看、管理已接入的业务日志，管理操作包括：修改配置信息、创建索引、删除日志配置等；具体能查看或操作的业务日志根据用户对应的权限控制；

日志搜索模块，主要提供去DSL语法(ElasticSearch DSL语法较为复杂且不易理解，用户使用容易出错)的聚合简易搜索功能，便于用户使用。现有技术的搜索需要熟悉DSL语法，使用成本高较为麻烦，从而以用户简单易懂的方式去进行搜索，比如这个只需要用户在界面操作，配合输入，简单易用，而现有技术是需要用户写一串代码的。

如图12所示，图12提供了一种日志代理服务器的功能模块示意图。

日志代理模块主要用于采用agent上报日志方式时使用，agent部署在需要上报日志的服务器(可通过单台部署或批量部署的方式安装)，主要包括子模块如下：

配置获取模块，用于根据当前服务器IP(需要上报数据的服务器的ip)、本地配置版本信息定时(或实时)通过Api接口获取服务器配置信息；

配置版本管理模块，用于本地配置版本信息记录及管理，如有新版本则更新版本记录，防止同版本配置多次重复获取；

配置生成模块，用于Api接口返回配置需要更新时，生成新的配置文件，供日志客户端(filebeat或Logstash等)使用；

日志客户端旁路管理模块，用于如上步骤生成新的配置文件后重启(或停止，当管理日志配置关闭上报时需要)日志客户端，使最新配置生效；

客户端状态监测模块，用于定时上报客户端状态至后端服务器(管理端服务器)，监测当前所有日志客户端运行情况及状态，便于全局管理和监控。

如图13所示，图13提供了一种日志应用程序接口网关的功能模块示意图。

应用程序接口网关用于采用API上报日志方式时对用户提供统一的上报API，包括子模块如下：

接口权限管理模块，用于对接口的HTTP操作方法进行鉴权，接口HTTP操作方法鉴权主要采用白名单方式，比如针对ElasticSearch原生Api提供的GET/POST/PUT/DELETE仅开放GET/POST方法，限制PUT和DELETE权限，提高接口对外的安全性；其中，GET是请求指定的资源，并返回响应内容；POST是向指定资源提交数据进行处理请求(例如提交表单或者上传文件)；PUT是向指定位置上传并覆盖内容；DELETE是请求服务器删除指定的资源。

用户鉴权模块，用于根据Api中参数数据进行用户权限鉴权(参数包括调用方、日志索引名称及token，鉴权方式采用对称加密算法实现)，鉴权不通过返回失败信息；

日志索引拆分模块，用于对日志索引进行按天拆分(按天拆分索引写入ElasticSearch，如请求的日志索引为：log_report，拆分后则为：log_report-20181212，便于后续清理集群数据和维护)；

HTTP请求路由分发模块，用于根据管理端审批通过时下发的配置文件，确定该日志索引需要上报的集群，并将该请求的数据转发到对应的ElasticSearch集群。

本发明实施例还提供了一种数据上报系统，其特征在于，所述系统包括：数据管理平台、代理服务器、第一目标存储服务器和第二目标存储服务器；

所述数据管理平台，用于接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；用于根据所述配置项信息确定数据上报类型；

所述代理服务器，用于当所述数据上报类型为代理上报类型时，从所述数据管理平台获取配置信息；用于基于所述配置信息生成第一配置文件；用于根据所述第一配置文件将数据上报至所述第一目标存储服务器。

进一步的，所述数据管理平台还用于当所述数据上报类型为应用程序接口网关上报类型时，向应用程序接口网关发送第二配置文件；

所述系统还包括应用程序接口网关，所述应用程序接口网关还用于基于所述第二配置文件将数据上报至所述第二目标存储服务器。

进一步的，所述代理服务器还用于获取本地配置文件的配置信息；用于根据所述配置信息判断所述本地配置文件的配置信息是否有更新；用于当本地配置文件的配置信息有更新时，基于所述配置信息生成新的第一配置文件；用于根据所述新的第一配置文件确定新的第一目标存储服务器；用于向所述新的第一目标存储服务器上报数据。

进一步的，所述数据上报配置请求还包括用户权限信息，相应的，所述数据管理平台还用于根据所述用户权限信息判断用户的数据上报配置操作权限；用于当判断用户具有所述数据上报配置操作权限时，基于所述配置项信息确定数据上报类型。

进一步的，所述应用程序接口网关还用于接收用户发送的数据上报请求；用于基于所述数据上报请求进行接口权限鉴权和用户权限鉴权；用于当所述接口权限鉴权和用户权限鉴权都通过时，根据所述第二配置文件确定第二目标存储服务器；用于基于所述第二配置文件向所述第二目标存储服务器上报数据。

进一步的，所述应用程序接口网关还用于对数据索引进行拆分，得到拆分后的数据索引；用于根据所述第二配置文件确定所述拆分后的数据索引对应的数据需要上报的第二目标存储服务器；用于将所述拆分后的数据索引对应的数据发送到所述拆分后的数据索引需要上报的第二目标存储服务器。

进一步的，所述数据管理平台还用于统计已接入的目标服务器的健康状态、单位时间内新增数据情况、存储总量趋势信息；用于定时或根据预设规则清理历史数据。其中，预设规则可以是根据实际需求制定。

由上述本发明提供的数据上报的方法和系统的实施例可见，本发明提供了对数据自动上报的方法，具体地，通过中心化配置管理和客户端agent定时(或实时)拉取(或主动推送)服务器配置相结合，实现了日志配置的自动化接入，自动上报，自动更新配置等功能；并且针对相同业务相同模块的客户端机器上报日志达到批量自动化接入的目的，有效的提升了大批量机器日志上报的高效接入；并且提供了统一的Api网关，通过管理端配置和业务Api上报开通申请，即可审批和授权该业务Api上报权限，通过Api网关实现了多业务的接入控制；通过业务部门、日志产品进行权限控制，不同业务部门、日志产品可配置上报不同的日志集群，实现了一个公共的权限管理可控的日志接入管理平台。本发明在管理端上报填写的配置是普通用户就能直接操作易懂的，最终由本发明提供的方法和系统生成客户端需要的特定的配置。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据上报方法，其特征在于，所述方法包括：

数据管理平台接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；

所述数据管理平台根据所述配置项信息确定数据上报类型；

当所述数据上报类型为代理上报类型时，代理服务器从所述数据管理平台获取配置信息；

所述代理服务器基于所述配置信息生成第一配置文件；

所述代理服务器根据所述第一配置文件将数据上报至第一目标存储服务器。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述数据上报类型为应用程序接口网关上报类型时，所述数据管理平台向应用程序接口网关发送第二配置文件；

应用程序接口网关基于所述第二配置文件将数据上报至第二目标存储服务器。

3.根据权利要求1或2所述的方法，其特征在于，所述代理服务器基于所述配置信息生成第一配置文件包括：

所述代理服务器获取本地配置文件的配置信息；

所述代理服务器根据所述配置信息判断所述本地配置文件的配置信息是否有更新；

当本地配置文件的配置信息有更新时，所述代理服务器基于所述配置信息生成新的第一配置文件；

相应的，所述代理服务器根据所述第一配置文件将数据上报至第一目标存储服务器包括：

所述代理服务器根据所述新的第一配置文件确定新的第一目标存储服务器；

所述代理服务器向所述新的第一目标存储服务器上报数据。

4.根据权利要求1或2所述的方法，其特征在于，所述数据上报配置请求还包括用户权限信息，相应的，所述数据管理平台根据所述配置项信息确定数据上报类型包括：

所述数据管理平台根据所述用户权限信息判断用户的数据上报配置操作权限；

当判断用户具有所述数据上报配置操作权限时，所述数据管理平台基于所述配置项信息确定数据上报类型。

5.根据权利要求2所述的方法，其特征在于，所述应用程序接口网关基于所述第二配置文件将数据上报至第二目标存储服务器包括：

所述应用程序接口网关接收用户发送的数据上报请求；

所述应用程序接口网关基于所述数据上报请求进行接口权限鉴权和用户权限鉴权；

当所述接口权限鉴权和用户权限鉴权都通过时，所述应用程序接口网关根据所述第二配置文件确定第二目标存储服务器；

所述应用程序接口网关基于所述第二配置文件向所述第二目标存储服务器上报数据。

6.根据权利要求5所述的方法，其特征在于，所述应用程序接口网关基于所述第二配置文件向所述第二目标存储服务器上报数据包括：

当所述接口权限鉴权和用户权限鉴权都通过时，所述应用程序接口网关对数据索引进行拆分，得到拆分后的数据索引；

所述应用程序接口网关根据所述第二配置文件确定所述拆分后的数据索引对应的数据需要上报的第二目标存储服务器；

所述应用程序接口网关将所述拆分后的数据索引对应的数据发送到所述第二目标存储服务器。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述数据管理平台统计已接入的目标服务器的健康状态、单位时间内新增数据情况、存储总量趋势信息；

所述数据管理平台定时或根据预设规则清理历史数据。

8.一种数据上报系统，其特征在于，所述系统包括：数据管理平台、代理服务器、第一目标存储服务器和第二目标存储服务器；

所述数据管理平台，用于接收用户触发的数据上报配置请求，所述数据上报配置请求包括配置项信息；用于根据所述配置项信息确定数据上报类型；

所述代理服务器，用于当所述数据上报类型为代理上报类型时，从所述数据管理平台获取配置信息；用于基于所述配置信息生成第一配置文件；用于根据所述第一配置文件将数据上报至所述第一目标存储服务器。

9.根据权利要求8所述的系统，其特征在于，所述数据管理平台还用于当所述数据上报类型为应用程序接口网关上报类型时，向应用程序接口网关发送第二配置文件；

所述系统还包括应用程序接口网关，所述应用程序接口网关还用于基于所述第二配置文件将数据上报至所述第二目标存储服务器。

10.根据权利要求8或9所述的系统，其特征在于，所述代理服务器还用于获取本地配置文件的配置信息；用于根据所述配置信息判断所述本地配置文件的配置信息是否有更新；用于当本地配置文件的配置信息有更新时，基于所述配置信息生成新的第一配置文件；用于根据所述新的第一配置文件确定新的第一目标存储服务器；用于向所述新的第一目标存储服务器上报数据。

11.根据权利要求8或9所述的系统，其特征在于，所述数据上报配置请求还包括用户权限信息，相应的，所述数据管理平台还用于根据所述用户权限信息判断用户的数据上报配置操作权限；用于当判断用户具有所述数据上报配置操作权限时，基于所述配置项信息确定数据上报类型。

12.根据权利要求9所述的系统，其特征在于，所述应用程序接口网关还用于接收用户发送的数据上报请求；用于基于所述数据上报请求进行接口权限鉴权和用户权限鉴权；用于当所述接口权限鉴权和用户权限鉴权都通过时，根据所述第二配置文件确定第二目标存储服务器；用于基于所述第二配置文件向所述第二目标存储服务器上报数据。

13.根据权利要求12所述的系统，其特征在于，所述应用程序接口网关还用于当所述接口权限鉴权和用户权限鉴权都通过时，对数据索引进行拆分，得到拆分后的数据索引；用于根据所述第二配置文件确定所述拆分后的数据索引对应的数据需要上报的第二目标存储服务器；用于将所述拆分后的数据索引对应的数据发送到所述拆分后的数据索引需要上报的第二目标存储服务器。

14.根据权利要求8所述的系统，其特征在于，所述数据管理平台还用于统计已接入的目标服务器的健康状态、单位时间内新增数据情况、存储总量趋势信息；用于定时或根据预设规则清理历史数据。