CN112650767A - 一种数据过滤前置的数据交换方法及系统 - Google Patents

Abstract

本发明提供一种数据过滤前置的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。本发明因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全，降低了客户端的资源消耗。

Description

一种数据过滤前置的数据交换方法及系统

技术领域

本发明属于计算机网络领域，尤其涉及一种数据过滤前置的数据交换方法及系统。

背景技术

随着大数据技术的成熟，企业的外部客户端在进行数据分析需要大量数据，这时需要使用消费队列(Message Queue，MQ)进行数据交换，将内网存储的数据交换到外部的客户端，公知的数据交换方法是将所有的数据消费到客户端，然后由客户端对所有数据进行处理，得到所需数据，用户处理得到自己所需要的数据，这样的方式存在极大的缺陷。

1)原方法数据的处理过程在用户侧，消耗用户的资源。而一般而言，数据中心的资源充足而用户资源不足。原方案占用大量用户资源，易导致用户卡顿。

2)给用户的数据不仅仅是用户需要的，而是通道内全部数据，用户能够接触到超出需求的数据，权限管理不够细致，数据安全性无法保证

3)发送的数据多于用户需求数据很多，导致网络资源占用大。

因此现在急需一种数据过滤前置的数据交换技术。本技术主要解决订阅，短查询(少量数据)，查询(大量数据)三个问题。

发明内容

本方法为了提供一种数据过滤前置的数据交换方法及系统，在服务器端进行数据处理，保证数据安全。

本发明技术解决方案包括：

一种数据过滤前置的数据交换方法，适用于由客户端、外网服务器、内网服务器与元数据库组成的系统，其步骤包括：

1)接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；

2)解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；

3)转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。

进一步地，客户端数据查询请求的字段包括用户名、sql语句、交换方式和消费者组。

进一步地，根据设定过滤规则，sql语句的格式包括：<select字段1，字段2from机构.通道.表where字段3＝x>。

进一步地，交换方式包括：订阅、查询和短查询。

进一步地，当交换方式为订阅时，所述系统还包括消费客户端与生产客户端；通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、所需topic与过滤字段条件，其中所需topic是通过需求表得到；

2)通过用户名在元数据库中获取用户权限；

3)依据消费者组与所需topic，调用消费客户端在元数据库中拉取并消费topic数据，得到消费数据；

4)根据字段名称与过滤字段条件，在内部服务器内存中对消费数据进行判断和转化，得到合规数据；

5)生产客户端依据合规数据，生成临时消息队列；

6)消费客户端根据所需topic消费临时消息队列，得到内部数据。

进一步地，当交换方式为查询或短查询时，所述系统还包括分布式文件系统。

进一步地，当交换方式为查询时，通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、需求表与过滤字段条件；

2)通过用户名在元数据库中获取用户权限；

3)依据需求表在元数据库进行查询，并根据字段名称与过滤字段条件，在内部服务器内存中对元数据库查询到的数据进行判断和转化，将得到的合规数据存储写入分布式文件系统；

4)以io流方式读取分布式文件系统中的合规数据，得到内部数据。

进一步地，当交换方式为短查询时，通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、需求表与过滤字段条件；

2)通过用户名在元数据库中获取用户权限；

3)依据需求表在元数据库进行查询，并根据字段名称与过滤字段条件，在内部服务器内存中对元数据库查询到的数据进行判断和转化，将得到的合规数据存储写入分布式文件系统；

4)以http请求的方式读取分布式文件系统中的合规数据，得到内部数据。

进一步地，客户端发送客户端数据查询请求的格式包括：HTTP方式；客户端发送客户端数据查询请求的方式包括：post方式；所述外部数据的格式包括：byte数组；发送外部数据的格式包括：HTTP方式。

一种数据过滤前置的数据交换系统，包括：

客户端，用以生成客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；

外网服务器，用以将客户端数据查询请求发送至内网服务器；将接收的外部数据返回至客户端；

内网服务器，用以解析客户端数据查询请求，将得到的任务发送至元数据库；转换接收的内部数据，将得到的外部数据发送至外网服务器；

元数据库，用以存储数据。

本发明与现有技术相比具有如下优点：

1、数据安全：因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全。

2、节省用户资源：由服务端进行数据处理，客户端得到处理后的数据，降低了客户端的资源消耗。

附图说明

图1为本发明方法的数据流程图。

具体实施方式

以下结合具体实施例和附图对本发明进行详细说明，

由客户端按过滤规则生成sql，sql格式为(select字段1，字段2from机构.通道.表where字段3＝x),交换系统解析sql生成过滤规则，获取所需的字段名称、根据表获取topic和过滤的字段条件，随后交换系统查询元数据库，判断该用户所求的字段及过滤条件的合规性，如过滤条件合规，消费到的数据经过过滤，得到合规数据，通过HTTP方式将数据返回给客户端，如过滤条件经过判定违规，将报错信息通过HTTP返回给客户端。

实例1交换技术(订阅)测试

Linux服务器2台，分别是服务器1和服务器2；

1、在元数据库中添加指定用户名的过滤权限，用于判断客户端所发sql是否违规。

2、由服务器1上的客户端将所需要求按sql规则生成指定类型sql，sql格式为(select字段1，字段2from机构.通道.表where字段3＝x)。

3、客户端发送HTTP(post方式)将用户名、订阅sql、订阅者组group和scop(交换方式：如订阅、查询、短查询)等字段发送到到内网服务器端的8085端口。

4、服务器2上的交换系统接到HTTP的请求解析各个字段得到用户名，scop，group，sql等字段，根据scop字段判断执行订阅，解析sql，得到过滤规则，调用元数据服务查询元数据库，检查用户的权限，查询元数据库获取该用户过滤规则的权限，与根据sql得到的过滤规则进行比对，通过后启动订阅任务。

5、启动订阅任务，根据解析获得的过滤规则，调用MQ消费客户端拉取topic数据，然后在内存中根据过滤规则对消费到的数据进行判断和转化，得到合规数据，将合规数据通过MQ生产者客户端转存到临时MQ中。

6、交换系统调用MQ消费者客户端消费临时MQ的指定topic，获取订阅任务的数据，然后将数据转化为byte数组，在以HTTP的方式将数据流返回给客户端。

实例2交换技术(查询)测试

Linux服务器2台，分别是服务器1和服务器2；

1、元数据库中添加指定用户名的过滤权限，用于判断客户端所发sql是否违规。

2、由服务器1上的客户端将所需要求按sql规则生成指定类型sql，sql格式为(select字段1，字段2from机构.通道.表where字段3＝x)

3、客户端发送HTTP(post方式)将用户名、订阅sql、订阅者组和scop(交换方式：如订阅、查询、短查询)等字段发送到到内网服务器端的8085端口。

4、服务器2上的交换系统接到HTTP的请求解析各个字段得到用户名，scop，group，sql等字段，根据scop字段判断执行订阅，解析sql，得到过滤规则，调用元数据服务查询元数据库，检查用户的权限，查询元数据库获取该用户过滤规则的权限，与接到的sql进行比对，通过后启动查询任务。

5、启动查询任务，根据解析获得的过滤规则，获取指定的表，查询数据库，然后在内存中根据规则对消费到的数据进行判断和转化，得到合规数据，将数据写入分布式文件系统(龙存)。

6、交换系统以io流方式读取分布式文件系统中的数据，通过HTTP请求将数据以数据流的方式返回客户端。

实例3交换技术(短查询)测试

Linux服务器2台，分别是服务器1和服务器2；

1、在元数据库中添加指定用户名的过滤权限，用于判断客户端所发sql是否违规。

2、由服务器1上的客户端将所需要求按sql规则生成指定类型sql，sql格式为(select字段1，字段2from机构.通道.表where字段3＝x)

3、客户端发送HTTP(post方式)将用户名、订阅sql、订阅者组和scop(交换方式：如订阅、查询、短查询)等字段发送到到内网服务器端的8085端口。

4、服务器2上的交换系统接到HTTP的请求解析各个字段得到用户名，scop，group，sql等字段，根据scop字段判断执行订阅，解析sql，得到过滤规则，调用元数据服务查询元数据库，检查用户的权限，查询元数据库获取该用户过滤规则的权限，与接到的sql进行比对，通过后启动短查询任务。

5、启动查询任务，根据解析获得的过滤规则，获取指定的表，查询数据库，然后在内存中根据规则对消费到的数据进行判断和转化，得到合规数据。

6、交换系统以http请求的方式获取短查询任务的数据，然后以数据流的方式返回给客户端。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (10)

1.一种数据过滤前置的数据交换方法，适用于由客户端、外网服务器、内网服务器与元数据库组成的系统，其步骤包括：

1)接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；

2)解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；

3)转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。

2.如权利要求1所述的方法，其特征在于，客户端数据查询请求的字段包括用户名、sql语句、交换方式和消费者组。

3.如权利要求2所述的方法，其特征在于，根据设定过滤规则，sql语句的格式包括：<select字段1，字段2from机构.通道.表where字段3＝x>。

4.如权利要求3所述的方法，其特征在于，交换方式包括：订阅、查询和短查询。

5.如权利要求4所述的方法，其特征在于，当交换方式为订阅时，所述系统还包括消费客户端与生产客户端；通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、所需topic与过滤字段条件，其中所需topic是通过需求表得到；

2)通过用户名在元数据库中获取用户权限；

3)依据消费者组与所需topic，调用消费客户端在元数据库中拉取并消费topic数据，得到消费数据；

4)根据字段名称与过滤字段条件，在内部服务器内存中对消费数据进行判断和转化，得到合规数据；

5)生产客户端依据合规数据，生成临时消息队列；

6)消费客户端根据所需topic消费临时消息队列，得到内部数据。

6.如权利要求4所述的方法，其特征在于，当交换方式为查询或短查询时，所述系统还包括分布式文件系统。

7.如权利要求6所述的方法，其特征在于，当交换方式为查询时，通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、需求表与过滤字段条件；

2)通过用户名在元数据库中获取用户权限；

3)依据需求表在元数据库进行查询，并根据字段名称与过滤字段条件，在内部服务器内存中对元数据库查询到的数据进行判断和转化，将得到的合规数据存储写入分布式文件系统；

4)以io流方式读取分布式文件系统中的合规数据，得到内部数据。

8.如权利要求6所述的方法，其特征在于，当交换方式为短查询时，通过以下步骤得到所述内部数据：

1)根据sql语句，得到字段名称、需求表与过滤字段条件；

2)通过用户名在元数据库中获取用户权限；

3)依据需求表在元数据库进行查询，并根据字段名称与过滤字段条件，在内部服务器内存中对元数据库查询到的数据进行判断和转化，将得到的合规数据存储写入分布式文件系统；

4)以http请求的方式读取分布式文件系统中的合规数据，得到内部数据。

9.如权利要求1所述的方法，其特征在于，客户端发送客户端数据查询请求的格式包括：HTTP方式；客户端发送客户端数据查询请求的方式包括：post方式；所述外部数据的格式包括：byte数组；发送外部数据的格式包括：HTTP方式。

10.一种数据过滤前置的数据交换系统，包括：

客户端，用以生成客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；

外网服务器，用以将客户端数据查询请求发送至内网服务器；将接收的外部数据返回至客户端；

内网服务器，用以解析客户端数据查询请求，将得到的任务发送至元数据库；转换接收的内部数据，将得到的外部数据发送至外网服务器；

元数据库，用以存储数据。

Images