CN111597566B - 一种Spark分析结果的传输方法及装置 - Google Patents

Abstract

本发明提出了一种Spark分析结果的传输方法及装置。包括：获取Dataset[A]类型的数据，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，并对该JsObject数据进行加密，获取加密后的JsObject数据；通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新，本发明通过HTTP请求实现了Spark批处理结果的传输，同时利用本地规则产生的加密字符串对待发送的内容进行加密，保证了Spark批处理结果的安全性和稳定性。

Description

一种Spark分析结果的传输方法及装置

技术领域

本发明涉及大数据技术领域，尤其涉及一种Spark分析结果的传输方法及装置。

背景技术

随着大数据时代的发展，越来越多的企业在使用Spark进行批量或流数据的处理和分析，HDFS、关系型数据库和Kafka是三种常用的结果存储方式。HDFS适用于Spark批处理结果的存储，包括中间结果和最终结果，其中，最终结果往往是聚合统计而来，因此数据量很小。由于Spark批处理程序一般是定时重复执行的，为了获取最新的最终结果数据，用户不得不编写一个程序去定时读取HDFS上的结果目录。一方面，结果读取程序的编写、部署、运行和维护会增加一部分成本，另一方面，结果获取的实时性也会因程序的定时任务运行方式而受到一定程度影响。关系型数据库具有应用广泛和使用方便的特点，适用于少量Spark批处理最终结果的存储。要使用关系型数据库进行数据中转，用户必须先安装和运行数据库软件，然后建库、建表，最后编写和运行数据库连接程序。Kafka是一种高吞吐量、高可用、分布式的“发布/订阅”消息系统，主要适用于Spark流处理结果的存储，也适合Spark批处理最终结果的存储。要使用Kafka进行数据中转，用户必须先搭建和运行Kafka集群，然后创建和配置相关的Kafka主题，最后编写和运行Kafka生产者、消费者。

但是，对于大部分Spark批处理应用，都要定时重复执行，而最终结果的数据量又往往很小。并且常用的HDFS、关系型数据库和Kafka传输方案，在数据传输的过程中都无法保证数据的安全性和完整性，所以，亟需一种数据传输方法，能够提高Spark批处理应用中数据传输的安全性和完整性。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

有鉴于此，本发明提出了一种Spark分析结果的传输方法及装置，旨在解决现有技术无法提高Spark批处理应用中数据传输的安全性和完整性问题。

本发明的技术方案是这样实现的：

一方面，本发明提供了一种Spark分析结果的传输方法，所述Spark分析结果的传输方法包括以下步骤：

S1，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

S2，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

S3，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。

在以上技术方案的基础上，优选的，步骤S1中，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据，还包括以下步骤，所述本地转换规则包括：collct方法、tolist方法以及map方法，获取Dataset[A]类型的数据，通过collct方法将Dataset[A]类型的数据转化为Array[A]类型的数据，通过tolist方法将Array[A]类型的数据转化为List[A]类型的数据，最后通过map方法将List[A]类型的数据转化为List[JsObject]类型的数据。

在以上技术方案的基础上，优选的，步骤S2中，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据，还包括以下步骤，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据。

在以上技术方案的基础上，优选的，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，还包括以下步骤，获取本地预设规则，根据本地预设规则生成带有密匙的加密字符串，将该加密字符串与新JsObject数据中的List[JsObject]类型的数据进行绑定，并根据该加密字符串对该新JsObject数据进行加密，并将密匙与加密后的数据进行关联。

在以上技术方案的基础上，优选的，步骤S3中，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新，还包括以下步骤，通过HTTP POST请求将加密后的JsObject数据发送，并设置Spark数据的等待更新时间，并实时记录等待Spark数据更新的响应时间，将该记录时间与等待更新时间进行比较，当响应时间大于等待更新时间时，向系统发出错误信息，并记录该错误信息，退出Spark批处理程序；当响应时间小于等待更新时间时，记录Spark数据更新信息，并退出Spark批处理程序。

在以上技术方案的基础上，优选的，步骤S3中，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新之后，还包括以下步骤，接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新。

在以上技术方案的基础上，优选的，接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新，还包括以下步骤，接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，当验证失败时，向系统发送错误信息；当验证成功时，从该加密后的JsObject数据中解析出新的Spark批处理结果，根据该新的Spark批处理结果对Spark数据进行更新。

更进一步优选的，所述Spark分析结果的传输装置包括：

转化模块，用于获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

加密模块，用于创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

响应模块，用于通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。

第二方面，所述Spark分析结果的传输方法还包括一种设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的Spark分析结果的传输方法程序，所述Spark分析结果的传输方法程序配置为实现如上文所述的Spark分析结果的传输方法的步骤。

第三方面，所述Spark分析结果的传输方法还包括一种介质，所述介质为计算机介质，所述计算机介质上存储有Spark分析结果的传输方法程序，所述Spark分析结果的传输方法程序被处理器执行时实现如上文所述的Spark分析结果的传输方法的步骤。

本发明的一种Spark分析结果的传输方法相对于现有技术具有以下有益效果：

(1)通过在Spark批处理程序中添加HTTP请求对少量结果数据进行直接传输，使数据传输变的简单、方便、快捷和直接，由于产生的额外代码很少，能够保证新数据传输的快捷和实时性。

(2)通过在HTTP请求中添加认证信息即加密的字符串，一定程度上防止了非法请求给数据接收端造成的破坏和损害，保证Spark批处理结果能够被正确展示或使用，提高了整个过程的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例方案涉及的硬件运行环境的设备的结构示意图；

图2为本发明Spark分析结果的传输方法第一实施例的流程示意图；

图3为本发明Spark分析结果的传输方法第一实施例的功能模块示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，该设备可以包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对设备的限定，在实际应用中设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及Spark分析结果的传输方法程序。

在图1所示的设备中，网络接口1004主要用于建立设备与存储Spark分析结果的传输方法系统中所需的所有数据的服务器的通信连接；用户接口1003主要用于与用户进行数据交互；本发明Spark分析结果的传输方法设备中的处理器1001、存储器1005可以设置在Spark分析结果的传输方法设备中，所述Spark分析结果的传输方法设备通过处理器1001调用存储器1005中存储的Spark分析结果的传输方法程序，并执行本发明实施提供的Spark分析结果的传输方法。

结合图2，图2为本发明Spark分析结果的传输方法第一实施例的流程示意图。

本实施例中，所述Spark分析结果的传输方法包括以下步骤：

S10：获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据。

应当理解的是，本实施例中，系统会先获取Dataset[A]类型的数据，根据本地转换规则，本地转换规则包括：collct方法、tolist方法以及map方法，获取Dataset[A]类型的数据，通过collct方法将Dataset[A]类型的数据转化为Array[A]类型的数据，通过tolist方法将Array[A]类型的数据转化为List[A]类型的数据，最后通过map方法将List[A]类型的数据转化为List[JsObject]类型的数据。

应当理解的是，本实施例中提到的转化规则是计算机程序中的常用规则。

S20：创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据。

应当理解的是，本实施例中会创建JsObject对象e，将对象d作为e的一个字段值(字段名可根据实际需要选取)，并添加一个名为credential的字段，形如“{"批处理结果1":d,"批处理结果2":f,"credential":"xxxxxxx"}”。credential的字段值可以是一段约定的特殊字符串，也可以是一段使用特定算法进行加密的字符串，主要用于接收程序对请求进行安全认证，防止非法请求给Spark批处理结果的展示或使用造成破坏和损害。需要强调的是，这里仅以单个d进行示例说明，e中实际可包含多个不同的Spark批处理结果字段。

应当理解的是，通过在HTTP请求中添加认证信息，一定程度上防止了非法请求给数据接收端造成的破坏和损害，保证Spark批处理结果能够被正确展示或使用，可以提高整个Spark批处理结果过程的安全性。

应当理解的是，在Spark批处理程序中添加HTTP请求对少量结果数据进行直接传输，无疑是最简单和方便的做法，额外代码量很少，且能够保证新数据传输的快捷和实时性，使数据传输更加简单、方便、快捷以及直接。

S30：通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。

应当理解的是，本实施例通过HTTP POST请求将e表示的JSON数据发送给接收程序，并设置响应等待时间。若在等待时间内接收到响应，则打印或日志记录响应信息、关闭资源并退出，若等待超时或发生其它异常，则打印或日志记录出错信息、关闭资源并退出。这样就能保证Spark批处理程序无论是否成功发送HTTP请求，都能正常退出，及时释放占用的集群资源。

应当理解的是，接收程序从POST请求中获取和恢复JsObject对象e，并对credential字段的值进行安全验证。若验证不通过，则不做处理；若验证通过，则从特定字段值中解析出新的Spark批处理结果，进行数据更新和应用。

应当理解的是，虽然HTTP请求容易受到网络影响而丢失，但发生丢失的情况毕竟是很少的，而且Spark批处理程序一般都是定时重复执行，这就意味着新的HTTP请求会不断发送给数据接收端，每次请求成功，接收端的数据都会被更新，因此不会对数据的展示和使用造成严重影响，实用性比较好。

需要说明的是，以上仅为举例说明，并不对本申请的技术方案构成任何限定。

通过上述描述不难发现，本实施例通过获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。本实施例通过HTTP请求实现了Spark批处理结果的传输，同时利用本地规则产生的加密字符串对待发送的内容进行加密，保证了Spark批处理结果的安全性和稳定性。

此外，本发明实施例还提出一种Spark分析结果的传输装置。如图3所示，该Spark分析结果的传输装置包括：转化模块10、加密模块20、响应模块30。

转化模块10，用于获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

加密模块20，用于创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

响应模块30，用于通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。

此外，需要说明的是，以上所描述的装置实施例仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的Spark分析结果的传输方法，此处不再赘述。

此外，本发明实施例还提出一种介质，所述介质为计算机介质，所述计算机介质上存储有Spark分析结果的传输方法程序，所述Spark分析结果的传输方法程序被处理器执行时实现如下操作：

S1，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

S2，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

S3，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

所述本地转换规则包括：collct方法、tolist方法以及map方法，获取Dataset[A]类型的数据，通过collct方法将Dataset[A]类型的数据转化为Array[A]类型的数据，通过tolist方法将Array[A]类型的数据转化为List[A]类型的数据，最后通过map方法将List[A]类型的数据转化为List[JsObject]类型的数据。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

获取本地预设规则，根据本地预设规则生成带有密匙的加密字符串，将该加密字符串与新JsObject数据中的List[JsObject]类型的数据进行绑定，并根据该加密字符串对该新JsObject数据进行加密，并将密匙与加密后的数据进行关联。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

通过HTTP POST请求将加密后的JsObject数据发送，并设置Spark数据的等待更新时间，并实时记录等待Spark数据更新的响应时间，将该记录时间与等待更新时间进行比较，当响应时间大于等待更新时间时，向系统发出错误信息，并记录该错误信息，退出Spark批处理程序；当响应时间小于等待更新时间时，记录Spark数据更新信息，并退出Spark批处理程序。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新。

进一步地，所述Spark分析结果的传输方法程序被处理器执行时还实现如下操作：

接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，当验证失败时，向系统发送错误信息；当验证成功时，从该加密后的JsObject数据中解析出新的Spark批处理结果，根据该新的Spark批处理结果对Spark数据进行更新。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种Spark分析结果的传输方法，其特征在于：包括以下步骤；

S1，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

S2，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，所述根据本地预设规则设置特定字段为：在新JsObject数据中添加以特殊字符串呈现的credential字段，获取加密后的JsObject数据；

创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

获取本地预设规则，根据本地预设规则生成带有密匙的加密字符串，将该加密字符串与新JsObject数据中的List[JsObject]类型的数据进行绑定，并根据该加密字符串对该新JsObject数据进行加密，并将密匙与加密后的数据进行关联；

S3，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新；

接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新。

2.如权利要求1所述的Spark分析结果的传输方法，其特征在于：步骤S1中，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据，还包括以下步骤，所述本地转换规则包括：collct方法、tolist方法以及map方法，获取Dataset[A]类型的数据，通过collct方法将Dataset[A]类型的数据转化为Array[A]类型的数据，通过tolist方法将Array[A]类型的数据转化为List[A]类型的数据，最后通过map方法将List[A]类型的数据转化为List[JsObject]类型的数据。

3.如权利要求1所述的Spark分析结果的传输方法，其特征在于：步骤S3中，通过HTTPPOST请求将加密后的JsObject数据发送，并等待Spark数据更新，还包括以下步骤，通过HTTP POST请求将加密后的JsObject数据发送，并设置Spark数据的等待更新时间，并实时记录等待Spark数据更新的响应时间，将该实时记录等待Spark数据更新的响应时间与等待更新时间进行比较，当响应时间大于等待更新时间时，向系统发出错误信息，并记录该错误信息，退出Spark批处理程序；当响应时间小于等待更新时间时，记录Spark数据更新信息，并退出Spark批处理程序。

4.如权利要求1所述的Spark分析结果的传输方法，其特征在于：接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新，还包括以下步骤，接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，当验证失败时，向系统发送错误信息；当验证成功时，从该加密后的JsObject数据中解析出新的Spark批处理结果，根据该新的Spark批处理结果对Spark数据进行更新。

5.一种Spark分析结果的传输装置，其特征在于，所述Spark分析结果的传输装置包括：

转化模块，用于获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

加密模块，用于创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，所述根据本地预设规则设置特定字段为：在新JsObject数据中添加以特殊字符串呈现的credential字段，获取加密后的JsObject数据；

创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

获取本地预设规则，根据本地预设规则生成带有密匙的加密字符串，将该加密字符串与新JsObject数据中的List[JsObject]类型的数据进行绑定，并根据该加密字符串对该新JsObject数据进行加密，并将密匙与加密后的数据进行关联；

响应模块，用于通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新；

接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新。

6.一种Spark分析结果的传输设备，其特征在于，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的Spark分析结果的传输方法程序，所述Spark分析结果的传输方法程序配置为实现如权利要求1至5任一项所述的Spark分析结果的传输方法的步骤。

7.一种计算机介质，其特征在于，所述计算机介质上存储有Spark分析结果的传输方法程序，所述Spark分析结果的传输方法程序被处理器执行时实现如权利要求1至5任一项所述的Spark分析结果的传输方法的步骤。

Images