CN108011857A

CN108011857A - 数据动态加密传输配置方法和装置

Info

Publication number: CN108011857A
Application number: CN201610934752.4A
Authority: CN
Inventors: 李建星
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2016-11-01
Filing date: 2016-11-01
Publication date: 2018-05-08
Anticipated expiration: 2036-11-01
Also published as: CN108011857B

Abstract

本发明公开了一种数据动态加密传输配置方法和装置。所述方法包括：获取将要传输的数据文件的配置信息；根据所述配置信息，确定是否对所述将要传输的数据文件进行分批次传输；当确定将要进行分批次传输时，基于网络参数和/或系统参数，计算出分批次传输的批次数量；针对每一个批次的数据文件，分别生成加密密钥并指派加密算法；将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

Description

数据动态加密传输配置方法和装置

技术领域

本发明涉及数据处理领域，具体地涉及数据动态加密传输配置方法和装置。

背景技术

当前，在系统(比如，数据库系统、网络业务系统、信息处理系统等)应用中，很多时候需要将来自其他系统的敏感数据(如用户姓名、手机号、地址等)同步到目标系统中进行使用。由于这类数据的重要性和私密性，需要格外地对其安全性加以保障。此外，对这类数据的使用往往具有一定的时效性，因此，在使用时还需要保证数据的及时快速传输。

举例来讲，假设A系统(比如，订单系统)每天生成大量用户访客信息，并且需要将关于这些信息的数据同步到B系统(比如，客服系统)，以备在后续程序中使用(例如，客服人员可能会对客户进行问卷调查)。在这种情况下，客户信息(例如，账号、联系方式等)属于敏感信息，从而不能以明文地形式进行传输，而必须在传输时采用一定的加密措施，以便避免信息泄露，确保数据安全。再例如，B系统可能会要求每次同步数据的时间不能间隔太长，否则，B系统可能无法及时获取A系统的数据，这会导致B系统无法使用相应的系统功能。这便要求A系统的数据传输要及时有效。

传统的敏感数据传输过程中，并不能很好地解决这两方面的问题。在传统方法中，如图1所示，敏感数据的传输方法很简单，首先是对源系统的全部原始数据采用某种加密算法进行加密，然后将加密后的全部数据一起传输到目标系统，最后，再根据密钥对全部数据进行解密，以进行使用。具体来讲，可通过以下三步来描述传统方法/系统中的敏感数据传输方案：

第一步：在源系统中对一个表或数据文件的所有数据进行加密，把明文转为密文，并生成单个密钥。

第二步：将数据传输到目标系统，其中通常使用特定传输协议(比如，FTP协议/HTTP协议)将全部数据一次性地同步到目标系统中存储。

第三步：目标系统获取密文数据后，根据密钥进行解密，得到明文使用。

图1中所示的传统方法的缺点是将源系统的全部敏感数据由同一加密过程加密后，产生一个密钥，所以只要获取一次密钥就可以在任意时间解析全部密文，数据安全性得不到充分保障。另外，由于每次将所有加密后的密文数据一次性的传输到目标系统，当数据量较大时，传输速率会受到网络环境、服务器资源等因素影响，可能产生传输不及时的情况。

因此，在使用敏感数据时，如何能保证数据安全性以及数据传输及时性已经成为一个重要议题。

发明内容

为了解决现有技术中存在的上述问题，本发明提出了一种数据动态加密传输配置方法和装置。

根据本发明的一个方面，提出了一种数据动态加密传输配置方法，包括：获取将要传输的数据文件的配置信息；根据所述配置信息，确定是否对所述将要传输的数据文件进行分批次传输；当确定将要进行分批次传输时，基于网络参数和/或系统参数，计算出分批次传输的批次数量；针对每一个批次的数据文件，分别生成加密密钥并指派加密算法；将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

优选地，所述配置信息包括以下各项中的至少一个：数据库配置信息、文件配置信息和分批配置信息，其中，所述数据库配置信息指示所述数据文件所位于的数据库的类型、大小、地址、端口、安全级别中的至少一项，所述文件配置信息指示所述数据文件的名称、类型、大小、位置、数据量、安全级别中的至少一项，以及所述分批配置信息显式地指示所述数据文件是否应被分批传输。

优选地，所述配置信息中包括所述数据文件的数据量，以及所述计算出分批次传输的批次数量的步骤还包括：通过所述数据文件的数据量和所述批次数量计算每批次的数据量。

优选地，所述网络参数包括业务观测参数、网络流量参数、网络带宽参数中的至少一项，所述系统参数包括服务器进程参数、服务器内存参数中的至少一项。

优选地，所述生成加密密钥并指派加密算法的步骤还包括：根据所述配置文件来指派加密算法。

优选地，所述方法还包括：将所生成的加密密钥和所指派的加密算法提供到将要接收所述数据文件的系统，以用于对所述数据文件的各个批次进行解密。

根据本发明的另一方面，还提供了一种数据动态加密传输配置装置。所述装置包括：获取模块，用于获取将要传输的数据文件的配置信息；确定模块，用于根据所述配置信息确定是否对所述将要传输的数据文件进行分批次传输；计算模块，用于当确定将要进行分批次传输时基于网络参数和/或系统参数计算出分批次传输的批次数量；加密生成模块，用于针对每一个批次的数据文件分别生成加密密钥并指派加密算法；施加模块，将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

优选地，所述配置信息包括以下各项中的至少一个：数据库配置信息、文件配置信息和分批配置信息，所述数据库配置信息指示所述数据文件所位于的数据库的类型、大小、地址、端口、安全级别中的至少一项，所述文件配置信息指示所述数据文件的名称、类型、大小、位置、数据量、安全级别中的至少一项，以及所述分批配置信息显式地指示所述数据文件是否应被分批传输。

优选地，所述配置信息中包括所述数据文件的数据量，以及所述计算模块还被配置为：通过所述数据文件的数据量和所述批次数量计算每批次的数据量。

优选地，所述加密生成模块还被配置为：根据所述配置文件来指派加密算法。

优选地，所述施加模块还被配置为：将所生成的加密密钥和所指派的加密算法提供到将要接收所述数据文件的系统，以用于对所述数据文件的各个批次进行解密。

通过使用本发明所提出的数据动态加密传输配置方法和装置，能够提升数据使用的安全性和数据传输的效率、减少网络带宽资源的占用，提高系统性能，从而解决数据安全性和及时性方面的问题。

附图说明

图1示出了传统敏感数据传输的系统架构图。

图2示出了根据本发明的实施例的数据动态加密传输配置方法的流程图。

图3示出了根据本发明的实施例的数据动态加密传输配置装置的框图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

本发明涉及从源系统向目标系统的传输，以下参考附图对本发明进行具体描述。

图2示出了根据本发明的实施例的数据动态加密传输配置方法200的流程图。所述数据动态加密传输配置方法200开始于步骤S210，获取将要传输的数据文件的配置信息。然后，在步骤S220中，根据所述配置信息，确定是否对所述将要传输的数据文件进行分批次传输。接下来，在步骤S230中，当确定将要进行分批次传输时，基于网络参数和/或系统参数，计算出分批次传输的批次数量。然后，在步骤S240中，针对每一个批次的数据文件，分别生成加密密钥并指派加密算法。最后，在步骤S250中，将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

首先，在步骤S210中，需要获取将要传输的数据文件的配置信息。

具体地，所述配置信息可以包括多种类型，比如数据库配置信息、文件配置信息和/或分批配置信息。其中，所述数据库配置信息用来指示所述数据文件所位于的数据库的类型、大小、地址、端口、安全级别中的至少一项。所述文件配置信息指示所述数据文件的名称、类型、大小、位置、数据量、安全级别中的至少一项。所述分批配置信息显式地指示所述数据文件是否应被分批传输等。

以上配置信息可以存储在相同或不同的物理位置，比如服务器、源系统、云存储器和/或其他可及时接入的内/外部存储设备。在一种优选实施例中，通过处理器和/或控制器来执行方法200中的各个步骤，因此，所述配置信息与所述处理器和/或控制器位于同一位置或可由所述处理器和/或控制器方便地更新和/或调用。

以下示例性的给出如上所述的各种配置信息的示例：

数据库配置信息的示例可以采用如下表1所述的格式，其可用于存放源数据所在的数据源环境的基本信息：

数据源类型	数据源	Ip地址	端口号
				1	testdb	127.0.0.1	3558
2	/sys/dir	127.0.0.1	22

表1

其中，各个参数的具体含义或内容如下：

数据源类型：1-表示数据库；2-表示数据文件系统；

数据源：数据库名(如testdb)；数据文件目录(如/sys/dir)；

Ip地址：源系统的服务器的ip地址；

端口号：当数据源类型为1时，指数据库的端口；当数据源类型为2时，指服务器的端口。

文件配置信息的示例可以采用如下表2所述的格式，其可用于存放配置需要的原始数据表(文件)和字段的基本信息：

表名/文件名	字段名	是否加密	字段说明
				Table_1	id	N	用户id
Table_1	name	Y	用户姓名
				Table_1	phone	Y	手机号
Table_1	address	Y	地址

表2

其中，各个参数的具体含义或内容如下：

第1列是表名/文件名：如：Table_1，代表敏感数据存储在数据库中的表名；

第2列是字段名；

第3列是字段是否配置加密：n-不加密，y-加密；

第4列是字段含义中文说明。

分批配置信息的示例可以采用如下表3所述的格式，其可用于存放原始数据的数据记录总量信息和是否需要分批的配置信息：

表名/文件名	是否分批	数据记录总量
			Table_1	Y	1000000

表3

其中，各个参数的具体含义或内容如下：

第1列是表名/文件名：如：Table_1，表示对该表进行配置；

第2列是是否分批属性：n-不分批，即对表/文件的全部数据进行加密；y-分批，即对表/文件分批进行加密；

第3列是表的数据记录总量：整型数值，表示该表(或文件)的数据记录总量。

在步骤S220中，根据所述配置信息，确定是否对所述将要传输的数据文件进行分批次传输。

如上文所述，在一个示例性实施例中，可通过配置文件中的直接或间接指示来确定是否进行分批。举例来讲，如果如表3中所示，针对将要传输的文件table_1指示将要进行分批(“Y”)，则确定进行分批。

然后，在步骤S230中，当确定将要进行分批次传输时，基于网络参数和/或系统参数，计算出分批次传输的批次数量。

所述网络参数包括业务观测参数、网络流量参数、网络带宽参数中的至少一项，所述系统参数包括服务器进程参数、服务器内存参数中的至少一项。

该步骤的目的在于评估当前网络环境的状况，并根据评估结果设置分批传输的参数。以上网络参数可用于确定网络带宽的可用值，而以上系统参数可用于确定当前内存的空余值。通过这两个指标可以有效地评估当前的网络状况，从而计算出分批次传输的批次数量。

优选地，所述配置信息中还可包括所述数据文件的数据量(如上表3中所示)。此时，还可通过所述数据文件的数据量和所述批次数量计算每批次的数据量。

在一个实施例中，可通过所述数据文件的数据量除以所述批次数量计算每批次的数据量。

在另一实施例中，可根据各批次的传输时机和/或传输时的网络/系统参数预估差异，为每个批次分配不同的数据量。

具体地，在进行步骤S230中的操作时，可示例性地通过以下具体的算法来实现：

首先，获取“业务观测参数”、“网络流量参数”、“网络带宽参数”，通过测算得到当前网络环境的“网络带宽可用值”。其具体算法为：

1.计算网络传输并发数CON_NUM，计算逻辑如下：

CON_NUM＝(data_num/(t*10000))*C*f

其中，

CON_NUM是当前网络传输的并发数；

data_num是观测时间内产生传输的数据量；

t是观测时间，即产生传输数据量为data_num的时间长度，比如10分钟传输了2000万数据量，则公式中t＝10*60秒，data_num＝2000万；

C是观测到的每1万条数据传输的连接数(通过收集网络命令获取tcp/udp连接数)；

f表示网络极端情况下传输时的并发倍数(默认为1，,如网络独享时可以设置f值为2-5倍)。

2.计算网络带宽可用值，计算逻辑如下：

BW＝data_avg_volume*CON_NUM*8bit/byte/pt

其中：BW为带宽大小；

data_agv_volume是单连接传输数据平均容量，例如，1万条数据观测连接数量为C，则data_agv_volume＝1万条数据容量/C，容量大小单位bit；

CON_NUM为并发数，上一步计算出的当前网络传输时的并发数；

8bit/byte是单位转换，1byte＝8bit；

pt：单连接传输数据量所用的传输时间(即传输1万条观测数据所用的时间，如0.5秒)。

带宽的单位bps、Kbps、Mbps、Gbps、Tbps，这里转换为Kbps；

通过上面计算，可以得到当前时间的网络带宽估计值，做为判断下一步的依据。

然后，获取“服务器进程参数”、“服务器内存参数”，通过测算得到传输服务器的“服务器内存可用率估计”。其具体算法为：

通过linux命令“top”命令，获取当前CPU使用率“Cpu(s)”；

当cpu(s)＝100％,则内存空余值＝0；

当cpu(s)<100％，则获取当前内存使用参数，并计算内存空余值：mem_free＝total-(used-cached-buffers)；

其中：mem_free表示内存空余值；

total：表示内存总量；

used：表示内存占用量包括缓存cached和缓冲区buffers；

cached:缓存区，用来给文件做缓冲；

buffers：缓冲区，用来给块设备做的缓冲大小。

最后，获取分配配置文件中的“数据记录总量”信息，测算出数据表或数据文件的容量大小，记为“表数据总容量”。其算法为：

(1)估算“平均每条记录容量估算值”，例如该表数据记录为1万条，总容量为20兆，平均每条记录容量估算值为20m/10000＝20K；

(2)取“内存空余值”/10，记为X1，做为服务器端可以接受数据容量的标准值；

(3)当X1<＝“网络带宽可用值”，即取“每批次量值”＝X1；

(4)当X1>“网络带宽可用值”，即取“每批次量值”＝“网络带宽可用值”；

(5)计算“每批次记录数”＝“每批次量值”/“平均每条记录容量估算值”(向上取整)；“批次量”＝“数据记录总量”/“每批次记录数”(向上取整)。

接下来，在步骤S240中，针对每一个批次的数据文件，分别生成加密密钥并指派加密算法。

具体地，可以将针对各个批次的数据文件生成的加密密钥和/或加密算法放入如下的示例性加密分配表中：

表4

可以想见的是，还能够通过两个独立的密钥分配表和加密函数分配表来实现表4的功能。

在一个实施例中，所述加密函数的指派可以是基于上文提及的所述配置文件进行的。

最后，在步骤S250中，将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

优选地，所述方法200还包括，在步骤S250之后，将所生成的加密密钥和所指派的加密算法提供到将要接收所述数据文件的系统，以用于对所述数据文件的各个批次进行解密。

以下结合本申请所提出的数据动态加密传输配置方法200中涉及的分批处理，对加密和解密过程进行进一步地示例性说明。

加密过程：

1.初始化对应批次量的随机字符串，源系统按批次单向加密生成批次特征码(批次的数量是获取加密分配表的最大批次号)；

2.使用源系统私钥对上一步的特征码加密后，生成加密后的批次特征码，即“加密分配表”的密钥；

3.将原始数据明文分批次和加密分配表的密钥进行加密生成数据密文和对称加密密码；

4.用目标系统的公钥加密上一步的对称加密密码，得到“密钥2”；

5.源系统传输给目标系统包括：第2步的“加密分配表”的密钥(可以成为密钥1)、第3步的数据密文和对称加密密码，同时在传输结束后目标系统会保存“密钥2”。

针对某一批次的解密时，优选地获取该批次的加密后密文、该批次的“加密分配表”中的密钥(也称密钥1)，以及目标系统保存的“密钥2”。

解密过程如下：

第1步用目标系统的私钥解密该批次密文的“密钥2”，得到对称加密密码；

第2步用上一步的对称加密密码和获取该批次的加密分配表的加密算法，进行解密得到数据和批次特征码的组合结果。然后过滤“加密分配表”的密钥后，得到数据明文(此时明文未得到验证)；

第3步对源系统的公钥去解密“加密分配表”的该批次的密钥，得到发送前的该批次的特征码(即加密过程第1步的特征码)；

第4步将源系统中的单向加密生成的该批次的特征码(即加密过程第1步得到的该批次的特征码)，与上一步(解密过程第3步)得到的特征码进行比较，如果一致，则可以验证第2步中得到的数据明文是正确的。否则解密过程错误，返回解密过程第一步重新执行。

图3示出了根据本发明的实施例的数据动态加密传输配置装置300的框图。所述装置300包括获取模块310、确定模块320、计算模块330、加密生成模块340和施加模块350。其中，所述获取模块310用于获取将要传输的数据文件的配置信息。确定模块320用于根据所述配置信息确定是否对所述将要传输的数据文件进行分批次传输。计算模块330用于当确定将要进行分批次传输时基于网络参数和/或系统参数计算出分批次传输的批次数量。加密生成模块340用于针对每一个批次的数据文件分别生成加密密钥并指派加密算法。施加模块350将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

图3中的所述数据动态加密传输配置装置300与图2中的数据动态加密传输配置方法200相对应。以上对方法200的其他具体描述和解释同样适用于装置300，在此不再赘述。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查方法和系统的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims

1.一种数据动态加密传输配置方法，包括：

获取将要传输的数据文件的配置信息；

根据所述配置信息，确定是否对所述将要传输的数据文件进行分批次传输；

当确定将要进行分批次传输时，基于网络参数和/或系统参数，计算出分批次传输的批次数量；

针对每一个批次的数据文件，分别生成加密密钥并指派加密算法；

将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

2.根据权利要求1所述的方法，其中，所述配置信息包括以下各项中的至少一个：数据库配置信息、文件配置信息和分批配置信息，

其中，所述数据库配置信息指示所述数据文件所位于的数据库的类型、大小、地址、端口、安全级别中的至少一项，

所述文件配置信息指示所述数据文件的名称、类型、大小、位置、数据量、安全级别中的至少一项，以及

所述分批配置信息显式地指示所述数据文件是否应被分批传输。

3.根据权利要求1所述的方法，所述配置信息中包括所述数据文件的数据量，以及所述计算出分批次传输的批次数量的步骤还包括：通过所述数据文件的数据量和所述批次数量计算每批次的数据量。

4.根据权利要求1所述的方法，所述网络参数包括业务观测参数、网络流量参数、网络带宽参数中的至少一项，

所述系统参数包括服务器进程参数、服务器内存参数中的至少一项。

5.根据权利要求1所述的方法，所述生成加密密钥并指派加密算法的步骤还包括：根据所述配置文件来指派加密算法。

6.根据权利要求1所述的方法，还包括：将所生成的加密密钥和所指派的加密算法提供到将要接收所述数据文件的系统，以用于对所述数据文件的各个批次进行解密。

7.一种数据动态加密传输配置装置，包括：

获取模块，用于获取将要传输的数据文件的配置信息；

确定模块，用于根据所述配置信息确定是否对所述将要传输的数据文件进行分批次传输；

计算模块，用于当确定将要进行分批次传输时基于网络参数和/或系统参数计算出分批次传输的批次数量；

加密生成模块，用于针对每一个批次的数据文件分别生成加密密钥并指派加密算法；

施加模块，将所生成的加密密钥和所指派的加密算法分别应用于将要传输的数据文件的各个批次。

8.根据权利要求7所述的装置，其中，所述配置信息包括以下各项中的至少一个：数据库配置信息、文件配置信息和分批配置信息，

9.根据权利要求7所述的装置，所述配置信息中包括所述数据文件的数据量，以及所述计算模块还被配置为：通过所述数据文件的数据量和所述批次数量计算每批次的数据量。

10.根据权利要求7所述的装置，所述网络参数包括业务观测参数、网络流量参数、网络带宽参数中的至少一项，

11.根据权利要求7所述的装置，所述加密生成模块还被配置为：根据所述配置文件来指派加密算法。

12.根据权利要求7所述的装置，所述施加模块还被配置为：将所生成的加密密钥和所指派的加密算法提供到将要接收所述数据文件的系统，以用于对所述数据文件的各个批次进行解密。