CN109947400A - 软件定义数据交换的数据交换中心的实现方法 - Google Patents

Abstract

本发明涉及一种软件定义数据交换的数据交换中心的实现方法，属于数据处理系统或方法技术领域。本发明包括数据交换的汇聚、软件定义数据交换、部署与数据分析三部分；以数据源系统平台或应用程序接口为基本单元进行数据交换的汇聚，并对其进行标准化二次封装；引入数据源接口分组，角色权限分配、用户身份验证，数据交换日志记录和安全预警等机制完成软件定义数据交换；采用区块链技术实现了数据交换的去中心化的集群部署，应用大数据分析技术，实现交换日志大数据分析和可视化呈现。本发明解决了数据交换量过大、部署困难、管理复杂、价格昂贵等问题，市场价值极其巨大，应用前景极为广阔，意义重大。

Description

软件定义数据交换的数据交换中心的实现方法

技术领域

本发明涉及一种软件定义数据交换的数据交换中心的实现方法，属于数据处理系统或方法技术领域。

背景技术

“信息孤岛”是指多个不同类型而又相互独立的，有信息交换的需要，但是又相互封闭，无法进行正常沟通的信息系统。在信息化建设过程中，由于受到多方面因素的综合作用，各行业单位在各地分支机构建造了大量的信息系统，随着技术和管理的发展，越来越多的应用信息需要信息共享、信息互通。所以“信息孤岛”逐渐成为各产业信息化发展过程中难以跨越的障碍，如何解决信息孤岛问题成为一个新的难题。

信息孤岛的类型有很多，不仅企业内各环节(如生产、销售、财务等)存在着信息孤岛，企业间(供需关系、商务关系)也存在信息孤岛；政府机关之间也存在信息孤岛，在某一个区域内，有多少个委、办、局可能就有多少个信息系统，甚至在同一个委、办、局的内部也存在多个信息系统，每个信息系统都由自己的信息中心或负责部门管理着，有自己的数据库、自己操作系统、自己开发的应用软件和用户界面，完全是独立的体系。信息交换、信息共享的缺少对各行、各业、各政府部门间无论是工作方面的合作还是科研方面的数据需求都有极大的阻碍作用，甚至信息泄露还会给个人、企事业代为带来的巨大安全隐患和经济损失。

发明内容

针对现有技术存在的上述缺陷，本发明提出了一种软件定义数据交换的数据交换中心的实现方法，以数据源系统平台或应用程序接口(API)为基本单元进行数据交换的汇聚，并对其进行标准化二次封装；引入数据源接口分组，角色权限分配、用户身份验证，数据交换日志记录和安全预警等机制完成软件定义数据交换；采用区块链技术实现了数据交换的去中心化的集群部署，应用大数据分析技术，实现交换日志大数据分析和可视化呈现。

本发明所述的软件定义数据交换的数据交换中心的实现方法，包括以下步骤：

步骤一：数据交换的汇聚：包括如下小步：

第一步：数据接口的汇聚：包括以下具体步骤：

(1)新建数据汇聚模块；

(2)采集现有数据源程序接口，写入到汇聚模块中；

(3)设定现有数据源程序接口的输入、输出格式；

(4)系统对现有数据源程序接口按照交换中心统一的标准进行二次封装，生成数据交换中心对终端用户接口；

(5)完善现有数据源程序接口输入、输出参数及具体意义的设定，生成接口使用说明文档；

(6)按照步骤(2)-(5)的顺序，依次采集该数据源的所有接口到本汇聚模块中；第二步：安全机制的引入：包括以下具体步骤：

(1)设置访问白名单，白名单中存放允许访问本数据源接口的IP地址或域名地址，并在原API中进行来路认证；

(2)设置访问密钥，并在原API进行密钥访问认证；

(3)添加加密硬件，并在原API中进行硬件加密认证；

(4)其他适用的访问安全机制；

步骤二：软件定义数据交换：包括如下小步：

第一步：接口组的定义：包括以下具体步骤：

(1)根据功能或数据接口调用的需求，新建接口组，并命名；

(2)在接口组中添加二次封装后的接口；

(3)设定该交换组的数据交换策略；

(4)添加完成后，对接口名称进行编辑、对已经添加的二次封装后的接口进行增删、对数据交换策略参数进行编辑；

第二步：访问控制的设定：包括以下具体步骤：

(1)访问角色的定义及授权；

(2)用户的添加及授权；

(3)用户访问接口ID的生成；

第三步：安全预警的设定：根据交换日志和对应接口组的交换策略、角色的访问策略对违反或超出既定设定标准的行为进行预警，并记录到安全预警库中；

步骤三：部署与数据分析：包括如下小步：

第一步：数据交换中的部署：分为单节点部署和多节点部署；

第二步：数据分析的可视化展示：数据交换中心采用大数据分析技术对数据进行分析并采用图形可视化的手段进行展示。

优选地，所述步骤一中的数据交换的汇聚，解决了同一系统平台或应用程序为不同的数据接口需求重复开发的问题，为数据源系统平台程序接口一次开发供多平台共同永久使用奠定了基础。

优选地，所述步骤二中的软件定义数据交换，可实现数据源各系统平台或应用程序接口数据按权限交换、最大限度地保证数据安全、交换日志实时记录和违规行为追溯功能。

优选地，所述步骤三中的部署与数据分析，解决了单中心宕机导致系统全面瘫痪的风险、高并发系统交换速度减缓问题，提高了数据交换的性能和安全性；同时，提供对交换日志大数据分析和图形可视化展示的功能。

优选地，所述步骤二的第一步的第(2)步中，可添加的二次封装后的接口可以下面的任何一种情况：

a.某一模块中单个接口；

b.同一某块中的多个接口；

c.不同模块中的多个接口。

优选地，所述步骤二的第二步的第(1)步中，访问角色的定义及授权步骤如下：

(1)根据数据接口调用的需求和管理的方便，新建用户角色，并命名；

(2)在角色中添加一个或多个接口组的访问权限；

(3)设定该角色对添加的各接口组的访问策略，包括非法访问处理、越权访问处理、访问频次、日最大访问数；

(4)添加完成后，还可以进行修改，包括对角色名称进行编辑、对已经添加的接口组进行增删、对访问策略参数进行编辑。

优选地，所述步骤二的第二步的第(2)步中，用户的添加及授权：直接添加用户信息隶属某个具体的角色，用户的访问权限和访问策略完全继承于该角色；

优选地，所述步骤二的第二步的第(3)步中，用户访问接口ID的生成：交换中心平台会自动为该用户生成一个唯一的用户访问接口ID，即AII，该AII是一个无序的较长的字符串，用户要进行接口访问时必须验证的数据。

优选地，所述步骤三的第一步中的单节点部署，只部署一个数据交换中心，实现多个用户对多个数据源系统平台或程序接口API的访问控制，直接部署数据交换中的程序和数据库到节点服务器即可，适用于数据源和数据源API的数量较少、访问用户和数据交换量较小的情况。

优选地，所述步骤三的第二步中的多节点部署，采用区块链技术，引入多个基于合约密钥的可以相互认证的数据交换中心，建立一套去中心化的永不宕机的数据交换中心集群；

其中，新增节点加入数据交换集群的步骤如下：

(1)在原有数据中心中添加准备新增节点的数据交换中心的信息，包括IP地址/域名地址、认证用户名和密码；

(2)按照单节点方式部署新节点数据中心；

(3)在数据交换中心上设定认证节点的认证信息；

(4)步骤(3)认证成功，生成新的合约密钥，并分发到所有的已认证过的数据中心中去；反之返回步骤(1)或(3)重新设定；

(5)生成新的数据源安全配置文件，并推送分发到所有的数据源平台上。

本发明的有益效果是：本发明所述的软件定义数据交换的数据交换中心的实现方法，不仅解决了现存多个不同系统平台或应用程序间进行数据交换、共享困难，形成信息孤岛，给实际工作生活带来的诸多不便等问题；同时也最大限度地提升了数据交换、共享的安全性和高效性；应用区块链技术实施去中心化的多节点部署解决了数据交换量过大、部署困难、管理复杂、价格昂贵等问题，市场价值极其巨大，应用前景极为广阔，意义重大。

附图说明

图1是数据交换接口汇聚模型图。

图2是软件定义数据交换模型图。

图3(a)是单节点部署模型图。

图3(b)是多节点部署模型图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明的数据交换接口汇聚模型图，如图1所示。数据交换的汇聚是以现有的各系统平台或应用程序接口(API)为基本单元，引入数据源安全访问机制，对各系统平台或应用程序的接口进行汇聚，形成数据交换接口池。解决了同一系统平台或应用程序为不同的数据接口需求重复开发的问题，为数据源系统平台程序接口一次开发供多平台共同永久使用奠定了基础。

本发明的软件定义数据交换模型图，如图2所示，软件定义数据交换部分是在数据交换汇聚成池的基础上，引入程序接口按功能或数据交换需求进行模块分组，角色权限分配、用户身份验证，数据交换日志记录和安全预警等机制，采用软件定义的方式建立安全集约化的数据交换中心。可实现数据源各系统平台或应用程序接口数据按权限交换、最大限度地保证数据安全、交换日志实时记录和违规行为追溯等功能。

本发明的节点部署模型图，如图3(a)-3(b)所示，部署与数据分析是采用区块链技术实现去中心化的安全部署，可单点部署也可集群部署，并可实现大数据分析和分析可视化的呈现。解决了单中心宕机导致系统全面瘫痪的风险、高并发系统交换速度减缓等问题，进一步提高了数据交换的性能和安全性。

本发明所述的软件定义数据交换的数据交换中心的实现方法，包括数据交换的汇聚、软件定义数据交换、部署与数据分析三部分。

数据交换的汇聚，以现有数据源系统平台或应用程序的接口为基本单元，对各单元数据接口进行汇聚、二次封装，形成具有统一标准的数据交换接口池。现以数据源A(或系统平台A)为例，如图1所示，对其数据接口进行汇聚的具体的步骤如下：

(1)新建一数据汇聚模块A；

(2)采集现有数据源A的程序接口(APIa1)，写入到汇聚模块A中；

(3)设定APIa1的输入、输出格式(如JSON、XML、YAML)；

(4)系统对APIa1按照交换中心统一的标准(输出数据格式全部为JSON)进行二次封装，生成数据交换中心对终端用户的接口APIa1’；

(5)完善APIa1输入、输出参数及具体意义的设定，生成接口使用说明文档；

(6)按照步骤(2)-(5)的顺序，依次采集该数据源A(或系统平台A)的所有接口到本汇聚模块中。

完成对数据源A的接口汇聚，还可以再添加数据源B、数据源Z等无限多个数据源系统平台或应用程序接口的汇聚。

引入数据源访问安全机制，对原有的数据源如(数据源A、数据源Z)等进行API改造，引入如下的安全机：

(1)设置访问白名单，白名单中存放可以访问本数据源接口的IP地址或域名地址，并在原API中进行来路认证；

(2)设置访问密钥，并在原API进行密钥访问认证；

(3)添加加密硬件，如加密狗等设备，并在原API中进行硬件加密认证；

(4)其他适用的访问安全机制

以上所有的安全机制的具体参数及其值均写在该数据源的安全配置文件中，并可在本数据交换中心的多节点集群化部署中，随着节点的新增或改变进行实时同步更新。

软件定义数据交换，是对数据交换池中的不同模块不同的二次封装后的接口，按照功能归类或数据接口调用的需求进行重新分组的基础上，引入角色、用户权限访问控制，建立以软件定义的安全集约化的数据交换机制，又包含接口组的定义、访问控制的设定和安全预警三大部分。

接口组的定义是软件定义数据交换的基础，也是建立安全集约化的数据交换机制的核心。如图2所示，具体的实现步骤如下：

(1)根据功能或数据接口调用的需求，新建接口组，并命名，如接口组A；

(2)在接口组A中添加二次封装后的接口，如APIa1’、APIzn’等；

(3)设定该交换组的数据交换策略，如非法访问处理、越权访问处理、访问频次、日最大访问数等；

(4)添加完成后，还可以进行修改，如对接口名称进行编辑、对已经添加的二次封装后的接口进行增删、对数据交换策略参数进行编辑。

在步骤(2)中可添加的二次封装后的接口可以是下面的任何一种情况：

(1)某一模块中单个接口；

(2)同一某块中的多个接口；

(3)不同模块中的多个接口；

访问控制又分为三部分：访问角色的定义及授权、用户的添加及授权、用户访问接口ID(Access Interface ID，简写为：AII)的生成。

访问角色的定义及授权步骤如下：

(1)根据数据接口调用的需求和管理的方便，新建用户角色，并命名，如角色A；

(2)在角色A中添加一个或多个接口组的访问权限，如接口组A、接口组B、接口组Z等；

(3)设定该角色对添加的各接口组的访问策略，如非法访问处理、越权访问处理、访问频次、日最大访问数等；

(4)添加完成后，还可以进行修改，如对角色名称进行编辑、对已经添加的接口组进行增删、对访问策略参数进行编辑。

用户的添加和授权的操作比较简单，直接添加用户信息隶属某个具体的角色，该用户的访问权限(可以访问的接口组)和访问策略完全继承于该角色；同时，也是最重要的，交换中心会自动为该用户生成一个唯一的用户访问接口ID(即AII)，该AII是一个无序的较长的字符串(如64位或128位)，这也是用户要进行接口访问时必须验证的数据。

这样，用户就通过角色、接口组、二次封装后的数据接口，间接第与原数据源系统平台或应用程序接口建立起了对应关系。而且，对不同用户访问同一接口(或原数据源的或二次封装后的)，其访问接口ID(即AII)绝对是不一样的，这大大增加了数据交换的安全性。

访问角色的定义及授权、用户的添加及授权、AII的生成三部分共同实现了数据源接口对各需求系统或平台访问的快速灵活授权、数据的按权交换和安全交换。

安全预警是本数据交换中心的一个安全策略，是根据交换日志和对应接口组的交换策略、角色的访问策略对违反或超出既定设定标准的行为进行预警，并记录到安全预警库中。这最大限度地保证了数据交换的安全、交换日志的实时记录，并实现了违规行为的追溯。

数据交换中的部署包含两种方式，即单节点部署和多节点部署。

如图3(a)所示，单节点部署就是只部署一个数据交换中心，实现多个用户对多个数据源系统平台或程序接口API的访问控制，直接部署数据交换中的程序和数据库到节点服务器即可，适用于数据源和数据源API的数量较少、访问用户和数据交换量较小的情况。

如图3(b)所示，多节点部署是在单节点部署的基础上，采用区块链技术，引入多个基于合约密钥的可以相互认证的数据交换中心，建立一套去中心化的永不宕机的数据交换中心集群。新增节点加入数据交换集群的步骤如下：

(1)在原有数据中心(如数据交换中心A)中添加准备新增节点的数据交换中心(如数据交换中心Z)的信息，如IP地址(或域名)、认证用户名和密码等；

(2)按照单节点方式部署新节点数据中心如数据交换中心Z；

(3)在数据交换中心Z上设定认证节点(数据交换中心A)的认证信息如IP地址(或域名)、认证用户名和密码等；

(4)步骤(3)认证成功，生成新的合约密钥，并分发到所有的已认证过的数据中心(如数据交换中心A和数据交换中心B)中去；反之返回(1)或(3)重新设定；

(5)生成新的数据源安全配置文件，并推送分发到所有的数据源平台上。

数据交换集群的建立，解决了数据交换中心接口交换池中API过多，访问用户过多，数据交换并发量过大，带来的单节点无法胜任数据交换负载过大的问题。

另外，数据交换集群中各数据交换中心的交换日志信息可以设定合并、同步策略，如每日凌晨2点进行定时自动合并、同步。这些交换日志的数据量是巨大的，本数据交换中心采用大数据分析技术对数据进行分析并采用图形可视化的手段进行展示，这也就是本数据交换中心的数据可视化模块。

本发明不仅解决了现存多个不同系统平台或应用程序间进行数据交换、共享困难，形成信息孤岛，给实际工作生活带来的诸多不便等问题；同时也最大限度地提升了数据交换、共享的安全性和高效性。应用区块链技术实施去中心化的多节点部署解决了数据交换量过大、部署困难、管理复杂、价格昂贵等问题，市场价值极其巨大，应用前景极为广阔，意义重大。

本发明涉及数据交换的汇聚、软件定义数据交换、部署与数据分析等场合。

以上所述仅为本发明的较佳实施例而己，并不以本发明为限制，凡在本发明的精神和原则之内所作的均等修改、等同替换和改进等，均应包含在本发明的专利涵盖范围内。

Claims (10)

1.一种软件定义数据交换的数据交换中心的实现方法，其特征在于，包括以下步骤：

步骤一：数据交换的汇聚：包括如下小步：

第一步：数据接口的汇聚：包括以下具体步骤：

(1)新建数据汇聚模块；

(2)采集现有数据源程序接口，写入到汇聚模块中；

(3)设定现有数据源程序接口的输入、输出格式；

(4)系统对现有数据源程序接口按照交换中心统一的标准进行二次封装，生成数据交换中心对终端用户接口；

(5)完善现有数据源程序接口输入、输出参数及具体意义的设定，生成接口使用说明文档；

(6)按照步骤(2)-(5)的顺序，依次采集该数据源的所有接口到本汇聚模块中；

第二步：安全机制的引入：包括以下具体步骤：

(1)设置访问白名单，白名单中存放允许访问本数据源接口的IP地址或域名地址，并在原API中进行来路认证；

(2)设置访问密钥，并在原API进行密钥访问认证；

(3)添加加密硬件，并在原API中进行硬件加密认证；

(4)其他适用的访问安全机制；

步骤二：软件定义数据交换：包括如下小步：

第一步：接口组的定义：包括以下具体步骤：

(1)根据功能或数据接口调用的需求，新建接口组，并命名；

(2)在接口组中添加二次封装后的接口；

(3)设定该交换组的数据交换策略；

(4)添加完成后，对接口名称进行编辑、对已经添加的二次封装后的接口进行增删、对数据交换策略参数进行编辑；

第二步：访问控制的设定：包括以下具体步骤：

(1)访问角色的定义及授权；

(2)用户的添加及授权；

(3)用户访问接口ID的生成；

第三步：安全预警的设定：根据交换日志和对应接口组的交换策略、角色的访问策略对违反或超出既定设定标准的行为进行预警，并记录到安全预警库中；

步骤三：部署与数据分析：包括如下小步：

第一步：数据交换中的部署：分为单节点部署和多节点部署；

第二步：数据分析的可视化展示：数据交换中心采用大数据分析技术对数据进行分析并采用图形可视化的手段进行展示。

2.根据权利要求1所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤一中的数据交换的汇聚，解决了同一系统平台或应用程序为不同的数据接口需求重复开发的问题，为数据源系统平台程序接口一次开发供多平台共同永久使用奠定了基础。

3.根据权利要求1所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤二中的软件定义数据交换，可实现数据源各系统平台或应用程序接口数据按权限交换、最大限度地保证数据安全、交换日志实时记录和违规行为追溯功能。

4.根据权利要求1所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤三中的部署与数据分析，解决了单中心宕机导致系统全面瘫痪的风险、高并发系统交换速度减缓问题，提高了数据交换的性能和安全性；同时，提供对交换日志大数据分析和图形可视化展示的功能。

5.根据权利要求3所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤二的第一步的第(2)步中，可添加的二次封装后的接口可以下面的任何一种情况：

a.某一模块中单个接口；

b.同一某块中的多个接口；

c.不同模块中的多个接口。

6.根据权利要求5所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤二的第二步的第(1)步中，访问角色的定义及授权步骤如下：

(1)根据数据接口调用的需求和管理的方便，新建用户角色，并命名；

(2)在角色中添加一个或多个接口组的访问权限；

(3)设定该角色对添加的各接口组的访问策略，包括非法访问处理、越权访问处理、访问频次、日最大访问数；

(4)添加完成后，还可以进行修改，包括对角色名称进行编辑、对已经添加的接口组进行增删、对访问策略参数进行编辑。

7.根据权利要求6所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤二的第二步的第(2)步中，用户的添加及授权：直接添加用户信息隶属某个具体的角色，用户的访问权限和访问策略完全继承于该角色。

8.根据权利要求7所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤二的第二步的第(3)步中，用户访问接口ID的生成：交换中心平台会自动为该用户生成一个唯一的用户访问接口ID，即AII，该AII是一个无序的较长的字符串，用户要进行接口访问时必须验证的数据。

9.根据权利要求4所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤三的第一步中的单节点部署，只部署一个数据交换中心，实现多个用户对多个数据源系统平台或程序接口API的访问控制，直接部署数据交换中的程序和数据库到节点服务器即可，适用于数据源和数据源API的数量较少、访问用户和数据交换量较小的情况。

10.根据权利要求5所述的软件定义数据交换的数据交换中心的实现方法，其特征在于，所述步骤三的第二步中的多节点部署，采用区块链技术，引入多个基于合约密钥的可以相互认证的数据交换中心，建立一套去中心化的永不宕机的数据交换中心集群；

其中，新增节点加入数据交换集群的步骤如下：

(1)在原有数据中心中添加准备新增节点的数据交换中心的信息，包括IP地址/域名地址、认证用户名和密码；

(2)按照单节点方式部署新节点数据中心；

(3)在数据交换中心上设定认证节点的认证信息；

(4)步骤(3)认证成功，生成新的合约密钥，并分发到所有的已认证过的数据中心中去；反之返回步骤(1)或(3)重新设定；

(5)生成新的数据源安全配置文件，并推送分发到所有的数据源平台上。