CN112241540A - 一种提高企业间数据交互安全性的方法和装置 - Google Patents

Abstract

本发明公开了一种提高企业间数据交互安全性的装置和方法，所述装置设置在企业内网和外部网络之间部署的DMZ空间内；所述装置包括：MQ模块，用于采用消息队列的方式对外部传入数据进行组织；预处理模块，用于对消息队列组织的数据依次进行预处理，所述预处理包括数据清洗、数据集成、数据变换；CDC模块，用于采用变更数据抓取方式将预处理后的数据流实时同步到企业内网数据库。该装置和方法提高企业间数据交换的高安全性和高稳定性。

Description

一种提高企业间数据交互安全性的方法和装置

技术领域

本发明涉及通信安全领域，具体涉及一种提高企业间数据交互安全性的方法和装置。

背景技术

现有企业的信息化程度渐渐提高，企业内部所使用的信息系统也越来越多。在产业链上的各生产单位使用的专业化系统都各自独立运行，各自产生和管理着一定数量的数据。这些数据间并无直接关系，而作为信息化的产业链，数据在其中的每一环都流动着，数据在如今作为重要的生产资源，使得整个产业是作为一个整体在运作。

各生产单位内部的数据间其实有着内在的逻辑联系。如果跨单位实现一个完整的业务流程，往往需要各单位多个信息化系统的配合，这些数据需要在系统间进行实时或非实时的交互，企业也势必将这些来源不同的数据进行整合集成。而保证数据在传递过程中的安全性，可靠性就是这些信息系统间的接口需要特别关注的任务。但是这往往意味着巨大的开发工作量，维护成本，因为如果保证数据安全性对系统的安全性建设上需要耗费大量人力且可能会影响信息的传输效率，传输过来的数据数量庞大，需要对其进行有效的梳理和筛选，以此避免数据库反复读写修改造成的锁表和数据冗余。若为每个不同的应用数据库存储都建立专门转换的应用，其开发复杂度将非常大，开发周期也很长。而在现有技术中，很难有既满足安全可靠性又可以有效梳理程序的系统，其开发成本高，需要更多的维护成本，开发周期长，需要牵涉到各方面的因素，在实际中也会存在各种问题，导致软件系统的开发成功率较低，开发周期长，不利于企业项目的执行。

信息技术安全评估准则发展过程中权威的标准有很多，如《可信计算机系统评估准则》、简称TCSEC，《信息技术安全评估准则》，简称IT SEC，以及《计算机信息系统安全保护等级划分准则》。

在TCSECI中，计算机安全从高到低分为：A、B、C、D四类八个级别，共27条评估准则随着安全等级的提高，系统的可信度随之增加，风险逐渐减少，TCSEC四个安全等级分别是：无保护级，自主保护级，强制保护级，验证保护级。从C类起(自主保护级)，具有一定的保护能力,采用的措施是自主访问控制利计眼踪，一般只适用于具有一定等级的多用户环境具有对主体责任及其动作申计的能力。

对于计算机系统的数据安全，权威的标准已经有非常深度的定义，在“信息安全技术框架”中，将计算机信息系统主要分成4个部分：本地计算环境，区域边界，网络和基础设施，支撑基础设施。边界区域是区域与外部网络发生信息交换的部分，区域边界要确保进入的信息不会影响区域内资源的安全而离开的信息是经过合法授权的，所以区域边界的安全策略十分重要和有效。

发明内容

本发明的目的就是提供一种提高企业间数据交互安全性的方法和装置，来提高企业间数据交换的高安全性和高稳定性。

为实现上述发明目的，本发明提供的技术方案为：

一种提高企业间数据交互安全性的装置，所述装置设置在企业内网和外部网络之间部署的DMZ空间内；

所述装置包括：

MQ模块，用于采用消息队列的方式对外部传入数据进行组织；

预处理模块，用于对消息队列组织的数据依次进行预处理，所述预处理包括数据清洗、数据集成、数据变换；

CDC(Change Data Capture，变更数据抓取)模块，用于采用变更数据抓取方式将预处理后的数据流实时同步到企业内网数据库。

其中，所述数据清洗包括处理缺失值、对噪声数据平滑处理、识别或删除离群点并解决不一致性。所述数据集成包括将多个数据源中的数据结合起来并统一存储，建立数据仓库。所述数据变换包括通过平滑聚集、数据概化方式将数据转换成便于存储的形式。

本发明中，在企业内网和外部网络之间部署DMZ空间，提高企业间数据交互安全性的装置设置在DMZ空间内，用于对企业间数据交换进行安全保护和梳理，提升了高安全性和高稳定性。DMZ的模式可以解决安装防火墙后外部网络的访问用户不能访问内部网络服务器的问题，而设立的一个非安全系统与安全系统之间的缓冲区。该缓冲区位于企业内部网络和外部网络之间的小网络区域内。在这个小网络区域内可以放置一些必须公开的服务器设施，如企业Web服务器、FTP服务器和论坛等。另一方面，通过这样一个DMZ区域，由于这种DMZ区域部署，比起一般的防火墙方案，对来自外网的攻击者来说又多了一道关卡，因此，更加有效地保护了内部网络。

该提高企业间数据交互安全性的装置中，通过MQ模块，传递进来的数据信息会变得有序和排队稳定，再从此处进入预处理模块中，通过其中的计算逻辑，将唯一的数据编码密文过滤，其他的非法报文会直接被摘出并弹回。预处理模块包含预处理算法，可以实现数据的预处理并定制化地改变过滤模式，提升系统的响应时间和响应效率，并有效弥补DMZ区域中其他安全漏洞；预处理后的数据流再经过实时抓取的CDC模块使得响应速度大大提高。

在一种实施方式中，当外部穿入数据量大时，所述预处理模块会动态进行弹性扩展，依照需要的数据处理量动态以水平方式经复制镜像进行同步处理。这大大提高了处理数据的总量效率，极大提高了系统的抗压能力，防止数据大量堆积在MQ模块中。

在另外一种实施方式中，当外部传入数据量大时，所述预处理模块会动态进行弹性扩展，通过增加多线程同时处理数据。

在另外一种实施方式中，所述预处理模块对外部传入数据进行优先级判断，当外部传入数据的优先级高时，直接对外部传入数据进行预处理，并将优先级低的外部传入数据传输到MQ模块。

一种提高企业间数据交互安全性的方法，包括以下步骤：

对基于https协议传输的外部数据，通过账户名和密码校验成功后传入防火墙；

外部数据经过防火墙白名单核对无误后传入区域边界内；

外部数据经过SAP PI中数字证书校验成功后传入权利要求1～7任一项所述的提高企业间数据交互安全性的装置；

外部数据经提高企业间数据交互安全性的装置处理后被存储到企业内网数据库。

与现有技术相比，本发明具有的有益效果至少包括：

通过使用多种安全和数据处理技术的有机结合，在DMZ区域对数据进行预处理等大量工作，把风险控制在内网之外，有效的保护企业内网。其中使用一些非常成熟的现有技术和自主开发的动态预处理技术相结合，使得本发明具有很高的安全性和可用性，可以根据不同的需求进行安全策略上的调整。不同于以往其他的数据安全装置，本发明是动态的控制风险，子啊提升安全性的同时也大大提高了数据传输的效率和数据库的使用稳定性，避免了数据过大造成的系统瘫痪和数据库的锁表，满足系统安全标准中提到的绝大多数重要指标，安全性极高，有助于企业间的数据传递的安全性和完整性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的企业间数据交互的示意图；

图2是实施例提供的提高企业间数据交互安全性的装置的解耦股示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

基于企业批次管理思想和管理的延伸，行业里各家合作单位均开展了批次系统的建设，需保障各企业产生的批次数据能够安全高效的传输至本企业。因此，本发明提供了一种提高企业间数据交互安全性的方法，通过使用多种安全措施有机地结合在一起，使一些成熟的技术和自主研发的技术相得益彰，交叉式的提升传输中的安全可靠性，依靠现有的成熟技术建设系统的平台，并使用自主研发技术弥补其中漏洞和提升效率。

企业间数据交互安全性主要是体现在5个安全措施的层层保护，使得数据在流通的过程中非常安全可靠。这5个组件分别是：Https传输协议，账户和密码，防火墙白名单，数字证书和如图2所示的提高企业间数据交互安全性的装置。基于此，提高企业间数据交互安全性的方法包括以下过程：

首先基于Https传输协议，数据从外部进入时需要通过唯一的账户名密码对应的校验，继续前进后通过防火墙，经过防火墙白名单核对，定义数据的具体来源(xx工厂/xx服务器)，如果核对无误，数据才可以继续向前传递，在此处的两个安全措施是已成熟且高效稳定的技术应用，双重身份验证可以有效防止未经授权数据篡改，搭线窃取，抵抗欺骗、重放攻击等，体现出较强的抵赖性和机密性。

数据通过防火墙后进入区域边界内，首先经历SAP WEB PI中的数字证书校验，通过数字证书可以再次确认身份的授权，可信度。

数字证书是由电子商务认证中心所颁发的一种较为权威与公正的证书，采用的是以数字加密技术为核心的数字证书认证技术，通过数字证书，可以对互联网上所传输的各种信息进行加密、解密、数字签名与签名认证等各种处理，同时也能保障在数字传输的过程中不被不法分子所侵入，或者即使受到侵入也无法查看其中的内容。如果用户在电子商务的活动过程中安装了数字证书，那么即使其账户或者密码等个人信息被盗取，其账户中的信息与资金安全仍然能得到有效的保障。用户在进行电子商务活动时可以通过数字证书来证明自己的身份，并识别对方的身份。当前全国范围内只有约30家企业具有数字认证的从业资格。数据流首先经过数字证书的校验具有了一定的可靠性之后再依靠SAP PI的集成特性优化传输结构，解决一些数据传输不即时，数据管理不易，后期调整数据困难等问题，提供一定的安全性和保证数据传输正确。通过Web service实现实时的数据传递。采用此安全措施，不仅提高了安全性，也提高了系统的信息管理能力，提过多种的讯息管理和查询方式，方便运维和管理。可以确保信息前往下一步的准确，如果传输错误也会有自动重发机制，并且提供常用的接口(Adapter)类型(A2A/B2B)，减少系统间讯息传递的接口考虑以及开发考量。

通过SAP Web PI后的数据进入到如图2所示的提高企业间数据交互安全性的装置。该分为3个部分组成，分别是MQ模块，预处理模块以及CDC模块。下面针对每部分进行详细说明。

1)MQ模块

数据首先进入MQ模块，消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。交互系统之间没有直接的调用关系，只是通过消息传输，故系统侵入性不强，耦合度低。通过MQ消息服务组件后，传递进来的数据信息会变得有序和排队稳定，再从此处进入预处理模块中，通过其中的计算逻辑，将唯一的数据编码密文过滤，其他的非法报文会直接被摘出并弹回。

2)预处理模块

防火墙、数字证书等用户权限校验主要功能是接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，但是系统无法阻止合法访问中失真的数据和数据丢失的问题。失真的数据或不完整的数据会引起数据存储和数据分析出错。因此，本发明的预处理模块可以实现数据的预处理并定制化地改变过滤模式，提升系统的响应时间和响应效率，并有效弥补DMZ区域中其他安全漏洞。

预处理模块实现的功能主要有数据预处理，复制镜像和同步处理，设定优先级，以及动态扩容。

针对数据预处理，多个合作工厂传输的生产过程数据存在不完整、不一致、分散性强等问题，为了提高数据质量，需进行数据预处理工作，通过数据清洗、数据集成、数据变换等方法对数据源进行处理。其中，数据清洗包括通过处理缺失值、对噪声数据平滑处理、识别或删除离群点并解决不一致性；数据集成包括将多个数据源中的数据结合起来并统一存储，建立数据仓库；数据变换包括通过平滑聚集、数据概化等方式将数据转换成适合的形式。

针对复制镜像和同步处理，当数据传输量巨大时为了提升运算的效率，预处理模块会动态进行弹性扩展，依照需要的处理量动态以水平的方式经复制模块镜像进行同步处理，大大提高了处理数据的总量效率，极大提高了系统的抗压能力，防止数据大量堆积在MQ模块中。

针对设定优先级，为了有效地提高系统响应时间，首先顺序保证，在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。其次根据系统需求特定处理优先顺序，例如原来的一套信息处理系统，处理数据需要整个系统的数个逻辑才能完成；通过预处理装置架构设计，就可将紧急重要(需要立刻响应)项放到预处理模块中优先处理，响应要求不高的使用消息队列，放到MQ队列中，再通过预处理筛选过滤掉一部分非法报文，精简数据流再经过实时抓取的CDC模块使得响应速度大大提高。

针对动态扩容，实施例提供的装置同时还为大数据处理架构提供服务，通过消息作为整合，大数据的背景下，消息队列还与实时处理架构整合，为数据处理提供性能支持。并且支持异步通信，有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制，允许把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。在遇到大批量数据的情况下，冗余会使处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，再交给预处理过滤，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要处理系统明确的指出该消息已经被处理完毕，从而确保数据被安全的保存直到预处理使用完毕继续向前提交。

在数据量非常巨大的情况下，预处理模块会展开弹性扩展来进行同时多线程处理数据，因为消息队列解耦了处理过程增加了扩展性，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。不需要改变代码、不需要调节参数。便于分布式扩容更加有利于预处理模块的水平复制，并且消息队列也提供给预处理模块足够的缓冲空间，在任何重要的系统中，都会有需要不同的处理时间的元素。消息队列可以通过一个缓冲层来帮助预处理模块和其动态水平弹性扩容最高效率的执行，该缓冲有助于控制和优化数据流经过系统的速度。在访问量剧增的情况下，系统仍然需要继续发挥作用，但是这样的突发流量无法提取预知，预处理模块有足够的过载保护能力能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

3)CDC模块

经过预处理解析后，数据将进入CDC模块中，CDC同步技术可以识别从上次提取之后发生变化的数据，利用CDC在对源表进行INSERT、UPDATE或DELETE等操作的同时就可以提取数据，并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据，然后利用数据库视图以一种可控的方式提供给目标系统。经过以上处理，在最终传入内网数据库的数据将被有效的管理和监视，可以有效防止坏数据扩散、同时防止系统被破坏，使数据具有定时性，并且最重要的是避免大规模的并发修改等对数据库表的操作或者不同数据连续交叉访问，导致数据库锁表，CDC技术可以实时抓取数据库日志，回放到自己内部区域，这样在访问和修改时让数据实时动态和稳定。

以上MQ模块，预处理方法模块以及CDC模块的合并使用组成了提高企业间数据交互安全性的装置，被预处理的数据在传出DMZ区域之前就已经经过大量的筛选，安全检测以及整理的工作，大大提升数据传输的安全性同时使数据简化，轻量。并且提高了整体运行效率，增加了稳定性。被预处理的数据再次通过防火墙与内网点对点传输数据，数据经过该装置进入内网，可以保证内网接收数据的安全可靠、完整一致，提高了数据处理效率。

上述提高企业间数据交互安全性的方法通过使用多种安全和数据处理技术的有机结合，在DMZ区域对数据进行预处理等大量工作，把风险控制在内网之外，有效的保护企业内网。其中使用一些非常成熟的现有技术和自主开发的动态预处理技术相结合，使得本发明具有很高的安全性和可用性，可以根据不同的需求进行安全策略上的调整。不同于以往其他的数据安全装置，本发明是动态的控制风险，子啊提升安全性的同时也大大提高了数据传输的效率和数据库的使用稳定性，避免了数据过大造成的系统瘫痪和数据库的锁表，满足系统安全标准中提到的绝大多数重要指标，安全性极高，有助于企业间的数据传递的安全性和完整性。本发明内容对于在烟草行业或相关行业在企业间进行数据安全高效传输具有一定的参考性和推广应用价值。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种提高企业间数据交互安全性的装置，其特征在于，所述装置设置在企业内网和外部网络之间部署的DMZ空间内；

所述装置包括：

MQ模块，用于采用消息队列的方式对外部传入数据进行组织；

预处理模块，用于对消息队列组织的数据依次进行预处理，所述预处理包括数据清洗、数据集成、数据变换；

CDC模块，用于采用变更数据抓取方式将预处理后的数据流实时同步到企业内网数据库。

2.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，所述数据清洗包括处理缺失值、对噪声数据平滑处理、识别或删除离群点并解决不一致性。

3.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，所述数据集成包括将多个数据源中的数据结合起来并统一存储，建立数据仓库。

4.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，所述数据变换包括通过平滑聚集、数据概化方式将数据转换成便于存储的形式。

5.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，当外部穿入数据量大时，所述预处理模块会动态进行弹性扩展，依照需要的数据处理量动态以水平方式经复制镜像进行同步处理。

6.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，当外部传入数据量大时，所述预处理模块会动态进行弹性扩展，通过增加多线程同时处理数据。

7.如权利要求1所述的提高企业间数据交互安全性的装置，其特征在于，所述预处理模块对外部传入数据进行优先级判断，当外部传入数据的优先级高时，直接对外部传入数据进行预处理，并将优先级低的外部传入数据传输到MQ模块。

8.一种提高企业间数据交互安全性的方法，其特征在于，包括以下步骤：

对基于https协议传输的外部数据，通过账户名和密码校验成功后传入防火墙；

外部数据经过防火墙白名单核对无误后传入区域边界内；

外部数据经过SAP PI中数字证书校验成功后传入权利要求1～7任一项所述的提高企业间数据交互安全性的装置；

外部数据经提高企业间数据交互安全性的装置处理后被存储到企业内网数据库。

Images