CN108512821B - 数据传输方法、装置和系统,网闸,交易数据存储方法 - Google Patents
数据传输方法、装置和系统,网闸,交易数据存储方法 Download PDFInfo
- Publication number
- CN108512821B CN108512821B CN201710114957.2A CN201710114957A CN108512821B CN 108512821 B CN108512821 B CN 108512821B CN 201710114957 A CN201710114957 A CN 201710114957A CN 108512821 B CN108512821 B CN 108512821B
- Authority
- CN
- China
- Prior art keywords
- data
- network protocol
- sending
- verification system
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请实施例提供了一种数据传输方法,所述方法包括:接收基于第一网络协议的数据发送系统的初始数据;根据数据发送系统和初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,数据接收系统基于第二网络协议;确定各安全验证系统所采用的第三网络协议;将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至至少一个安全验证系统进行安全验证;将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。根据本申请实施例,用户无须对数据平台进行改造,从而节省了用户工作量。
Description
技术领域
本申请涉及通讯技术领域,特别是涉及一种数据传输方法、一种数据传输装置,和一种数据传输系统,以及,一种交易数据存储方法、一种交易数据存储装置,以及,一种网闸。
背景技术
随着互联网的发展,大数据得到越来越多的应用。为了针对大数据进行融合计算和分析,在不同的数据平台之间经常需要进行各种数据的交互。在实际的数据交互场景中,进行数据交互的一方或双方可能处于高安全性网络环境中。为了保障网络内的数据平台的数据安全,高安全性网络可能设置有类似网闸(GAP)的网络隔离设备,通过网络隔离技术将数据平台隔离于外部网络,避免外部网络的干扰。
例如,处于互联网中的数据平台向处于高安全性网络的数据平台发送某个数据,该数据无法直接被传输至高安全性网络中的数据平台,而是需要首先经过高安全性网络的网闸的验证,在验证安全后才转发至数据平台,从而完成两个数据平台之间的数据交互。
申请人经研究发现,网闸所支持的网络协议可能有多种。如果交互的数据所使用的网络协议与网闸支持的网络协议不一致,网闸则无法识别该数据,从而无法实现数据交互。因此,用户需要针对网闸的网络协议,对数据平台进行适配性的改造,例如对平台中各个系统进行二次代码开发、编写不同协议的数据交互程序和进行相应的程序配置。
然而,当数据平台之间需要通过多个网闸才能实现数据交互时,用户则需要相应地针对多个网闸的不同的网络协议,对平台进行多次的改造,从而增加了用户的工作量。
发明内容
本申请实施例针对所要解决的技术问题提供了一种数据传输方法、一种数据传输装置,和一种数据传输系统,以及,一种交易数据存储方法,以及,一种网闸。
为了解决上述问题,本申请提供了一种数据传输方法方法,所述方法包括:
接收基于第一网络协议的数据发送系统的初始数据;
根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
确定各安全验证系统所采用的第三网络协议;
将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
可选地,所述根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统的步骤包括:
在预设的验证系统对应表中查找数据发送系统和数据接收系统分别对应的至少一个安全验证系统。
可选地,所述方法还包括:
当查找不到安全验证系统,将所述初始数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。
可选地,所述安全验证系统包括多个,所述将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证的步骤包括:
针对各安全验证系统,依次将所述初始数据转换为符合所述安全验证系统对应的第三网络协议的中间数据,并发送至所述安全验证系统;其中,当接收到上一个安全验证系统的反馈结果时,针对下一个安全验证系统对应的第三网络协议对中间数据进行转换并发送至下一个安全验证系统。
可选地,所述将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据的步骤包括:
将所述初始数据转换成预设格式数据,封装所述预设格式数据;
将封装的预设格式数据按照第三网络协议进行转换,得到安全验证系统可识别数据格式的中间数据。
可选地,所述发送至所述至少一个安全验证系统进行安全验证之前,所述方法还包括:
在本地存储接收的初始数据;
监听是否在预设时间范围内接收到所述数据接收系统返回的数据接收确认消息;
若是,则在本地删除对应的初始数据;
若否,则重新将初始数据转换为中间数据并发送至安全验证系统。
可选地,所述方法还包括:
在所述安全验证系统设置针对数据的接收和发送的记录日志;
定期接收所述安全验证系统返回的记录日志,以采用接收的记录日志监控安全验证系统的运行状态。
可选地,当所述数据接收系统与所述数据发送系统同属第一网络协议,所述发送至所述至少一个安全验证系统进行安全验证之后,所述方法还包括:
将验证后的中间数据还原成初始数据,并发送至数据接收系统。
相应地,本申请还提供了一种数据传输装置,所述装置包括:
初始数据接收模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
相应地,本申请还提供了一种交易数据存储方法,所述方法包括:
接收基于第一网络协议的交易系统的交易数据;
根据交易系统和所述交易数据指向的交易数据存储系统,确定针对交易数据的至少一个安全隔离网闸,所述交易数据存储系统基于第二网络协议;
确定各安全隔离网闸所采用的第三网络协议;
将符合第一网络协议的交易数据转换为符合第三网络协议的中间交易数据,并发送至所述至少一个安全隔离网闸进行安全验证;
将验证后的中间交易数据转换为符合第二网络协议的目标交易数据,并发送至所述交易数据存储系统。
相应地,本申请还提供了一种网闸,所述网闸包括:
数据传输模块和数据验证模块;
所述数据传输模块包括:
初始数据接收子模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定子模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定子模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换子模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送子模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统;
所述数据验证模块,用于验证所述中间数据的安全性。
相应地,本申请还提供了一种数据传输系统,所述系统包括:
数据传输装置、数据发送系统、数据接收系统和至少一个安全验证系统;所述安全验证系统,用于验证所述数据发送系统发送至所述数据接收系统的数据的安全性;
所述数据传输装置包括:
初始数据接收模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
与现有技术相比,本申请实施例包括以下优点:
根据本申请实施例,在数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过根据数据发送系统和数据接收系统确定安全验证系统及其采用的第三网络协议,并相应地将初始数据转换为符合第三网络协议的中间数据,用户无须针对安全验证系统的网络协议对数据平台进行改造,从而节省了用户工作量。
而且,如果数据交互过程中存在多个安全验证系统时,若某一个或多个安全验证系统发生如IP地址变更等的更新,用户需要针对性地对数据平台进行更新,增加了用户工作量。根据本申请实施例,根据数据发送系统和初始数据指向的数据接收系统,即可确定当前需要验证数据的若干个安全验证系统,无须用户手动更新,进一步节省了用户的工作量。
根据本申请实施例,通过在安全验证系统设置记录日志,并定期接收记录日志以对安全验证系统监控,从而实现了对安全验证系统的实时监控。
根据本申请实施例,针对任意两个或多个不同安全等级的网络环境,在数据平台之间存在物理网络隔离、必须与安全验证系统进行数据交互的情况下,以较低的开发成本和接入成本实现稳定和有效的数据交互。
附图说明
图1是本申请实施例一的一种数据传输的应用场景图;
图2是本申请实施例二的一种数据传输方法的步骤流程图;
图3是本申请实施例三的一种数据传输方法的步骤流程图;
图4是本申请实施例四的一种交易数据存储方法的步骤流程图;
图5是本申请实施例五的一种数据传输装置的结构框图;
图6是本申请实施例六的一种数据传输装置的结构框图;
图7是本申请实施例七的一种交易数据存储装置的结构框图;
图8是本申请实施例八的一种数据传输系统的结构框图;
图9是本申请实施例九的一种网闸的结构框图;
图10是本申请实施例的一种数据传输系统示例的结构框图;
图11是本申请实施例的一种数据流程图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
图1示出了本申请实施例一的一种数据传输的应用场景图。从图中可见,在本申请实施例的数据传输的应用场景中,包括有两个数据平台,数据平台 101和数据平台102,以及,数据传输装置103和网络隔离设备104。
基于上述架构,不同的网络隔离设备104在各个通讯层所支持的网络协议可能并不相同,例如,网络隔离设备104在应用层上仅支持FTP(File Transfer Protocol,文件传输协议)的数据交互协议;又例如,网络隔离设备 104在应用层上仅支持数据库同步的数据交互协议。如果数据平台101所发送的数据不符合网络隔离设备104支持的协议,则无法实现数据交互。例如,数据平台101发送数据至网络隔离设备104是基于应用层的HTTP协议(HyperText Transfer Protocol,超文本传输协议)而进行,而网络隔离设备 104仅支持FTP协议,无法识别基于HTTP协议的数据,从而无法针对该数据进行安全验证和数据交互处理。
在本申请实施例的应用场景中,通过设置数据传输装置103,将数据平台101所发送的数据按照网络隔离设备104在应用层所支持的网络协议进行转换,从而无须用户针对数据平台进行改造。
需要说明的是,根据本申请一个实施例,提供的数据传输方法针对网络隔离设备104在应用层上所支持的协议进行转换。然而,在实际应用中,网络隔离设备104也可以工作在其他互联网模型层次中,均属于本申请保护范围。网络隔离设备104在其他通讯层上所支持的网络协议,均可能与数据平台采用的网络协议不同。例如,数据平台在传输层上基于可路由的协议 TCP/IP(Transmission Control Protocol/Internet Protocol,网络通讯协议)进行数据传输,而网络隔离设备在传输层上仅支持不可路由协议IPX/SPX(Internetwork Packet Exchange,网间数据包交互),因此,可以通过数据传输装置103,在传输层上将TCP/IP协议的初始数据转换为IPX/SPX协议的数据。
具体地,在本申请实施例的应用场景中,数据平台101和数据平台102 均可以包括有多个系统,数据平台中的多个系统之间需要进行数据交互。在本申请实施例中,数据平台101为某个电子交易平台,而数据平台102为某政府部门的数据平台,电子交易平台中的交易数据系统需要将交易数据发送至政府部门数据平台的电子交易备案系统进行备份和展示。
实际应用中,数据平台所处的网络可以根据对安全性的要求相应设置网络隔离设备,以保证网内数据平台的安全。在本申请实施例中,电子交易平台处于安全级别较低的互联网中,而政府部门数据平台则处于安全级别较高的局域网中,从而形成一个安全级别不同的网络环境。
安全级别较高的局域网设置有网络隔离设备104,在数据交互的过程中,电子交易平台中的交易数据系统所发送的数据,需要先经由网络隔离设备 104的安全验证和数据交互的处理后,才能最终发送至政府部门数据平台的电子交易备案系统。
上述的网络隔离设备104是实现网络隔离技术所需要的基础设备。所谓的网络隔离技术是指,在进行数据交互的双方或多方之间部署用于数据安全验证和数据交互的专用设备,专用设备在接收发送方的数据时,只保持与发送方进行网络连接,而断开与接收方的网络连接;在接收数据完毕后,则断开与发送方的网络连接,而只与接收方网络连接,并将接收的数据转发至接收方。通过网络隔离技术,可以将两个或两个以上的系统或网络在没有进行直接的网络连接的基础上,实现数据交互和资源共享。
需要特别说明的是,数据交互通常是基于OSI通讯模型(Open SystemInterconnection,开放系统互联)进行,OSI通讯模型包括物理层,数据链路层,网络层,传输层,会话层,表示层和应用层。实际应用中,可以通过断开链路层的方式实现上述的断开连接。当然,本领域技术人员也可以采用断开其他通讯层的方式实现断开连接。
目前较常用的网络隔离设备包括有网闸。网闸又称安全隔离网闸,安全隔离网闸是一种由带有多种控制功能专用硬件在电路上切断与当前没有进行数据交互的系统之间的网络链路层连接,并能够在网络间进行安全适度的应用数据交换的网络安全设备。具体地,网闸通常设置若干个数据服务器,通过一个数据服务器接收数据平台发送的数据,经过安全性验证后将数据交换至另外一端网络的数据服务器中,并由另一端网络的数据服务器将数据推送至另外一个数据平台,从而实现了数据平台之间的数据交互。
在本申请之前的数据交互方式中,为了适配网闸的协议,需要针对各数据平台进行改造,例如对数据平台中各个系统进行二次代码开发、编写不同协议的数据交互程序和进行相应的程序配置。改造时需要用户了解整个数据交互的流程和协议的细节,导致用户工作量很大,增加了进行数据交互的成本。
在本申请实施例的应用场景中,可以将电子交易平台中的交易数据系统作为数据发送系统A,而将政府部门数据平台中接收数据的电子交易备案系统作为数据接收系统D。将数据发送系统A所采用的网络协议作为第一网络协议,而将数据接收系统D所采用的网络协议作为第二网络协议。
实际应用中,第一网络协议和第二网络协议可以包括多种。其中,针对应用层的第一网络协议和第二网络协议可以包括有RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、JMS协议(Java Message Service, Java消息服务)、HTTP/HTTPS协议(HyperText Transfer Protocol,超文本传输协议)等分布式数据协议。
数据传输装置103可以通过设置的接口层接收基于第一网络协议的数据发送系统A的交易数据作为初始数据。根据该初始数据,可以通过初始数据携带的系统标识确定接收该数据的数据接收系统D。其中,数据传输装置103 可以为独立于数据发送系统A、数据接收系统D和网络隔离设备104的数据传输服务器。
数据传输装置103在确定数据发送系统A和数据接收系统D后,可以相应地确定将数据从数据发送系统A传输至数据接收系统D的过程中,需要对该数据进行验证和交互的网络隔离设备104,并确定网络隔离设备104 所支持的网络协议作为第三网络协议。
实际应用中,网络隔离设备104在应用层上所采用的第三网络协议可以包括FTP协议和数据库协议等。数据库协议又可以细分为多种不同的数据库协议,例如数据库协议还可以包括Oracle(关系数据库管理系统)协议、SQL (Structured Query Language,结构化查询语言)协议等。网络隔离设备可能由于不同的制造厂家、不同的设备规格、不同的安全等级要求等的因素,具体所采用的网络协议也相应不同。此外,数据平台所在网络可能设置有一个或多个的网络隔离设备,同一个网络中或不同网络中设置的多个网络隔离设备之间,所采用的第三网络协议也可能不同。实际实施中,可以根据网络隔离设备的系统标识确定其采用的网络协议。
数据传输装置103可以将第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至网络隔离设备104。由于中间数据为网络隔离设备104可识别的数据格式,因此网络隔离设备104可以成功对其进行验证和交互处理。例如,数据发送系统A处于互联网中,采用HTTP协议进行数据传输,而网络隔离设备104基于数据服务器进行数据验证和交互,采用FTP 协议,因此可以将初始数据从HTTP协议转换为符合FTP协议的中间数据。
实际应用中,当存在有多个网络隔离设备104时,进行验证完毕的网络隔离设备104可以将验证后的中间数据返回至数据传输装置103,由数据传输装置103根据下一个进行验证的网络隔离设备104的第三网络协议,对中间数据再一次进行网络协议的转换和发送,直至中间数据被全部网络隔离设备104验证完毕。
针对经过验证的中间数据,数据传输装置103可以将其转换为符合第二网络协议的目标数据,并通过接口层发送至数据接收系统D。例如,将基于 FTP协议的中间数据转换为JMS协议的目标数据,供数据接收系统D识别并存储。
实际应用中,可以由一个数据传输装置103进行上述的接收、转换和发送处理,也可以设置多个数据传输装置103分别处理。例如,设置一个数据传输装置103接收数据发送系统的初始数据,在转换为中间数据后发送至网络隔离设备104,网络隔离设备104在验证后将中间数据发送至另外一个数据传输装置103,由其将中间数据转换成目标数据并发送至数据接收系统D。
需要进一步说明的是,若两个或多个数据平台所处网络具有不同的安全级别时,上述的两个或多个数据平台处于安全级别不同的异构网络中。所谓的异构网络,是由不同制造商生产的计算机、网络设备和系统组成,大部分情况下运行在不同的协议上,支持不同的功能或应用。当两个或多个数据平台分别处于互联网和局域网等网络结构不同的网络中,则构成一个异构网络 (Heterogeneous Network)的网络环境。具体到本申请实施例,数据平台101 和数据平台102分别处于互联网和局域网中,并且数据平台102的安全级别高于数据平台101,从而构成一个安全级别不同的异构网络的网络环境。
可以理解,本申请实施例所提供的数据传输方法,不仅仅适用于安全级别不同的异构网络的网络环境,也可以适用于安全级别相同的同构网络的网络环境,根据本申请另一个实施例,要相互通信的多个数据平台均处于安全级别相同的互联网或局域网中。
此外,本申请实施例所提供的数据传输方法,还可以适用于安全级别相同的异构网络的网络环境,根据本申请又一个实施例,需要相互通信的多个数据平台分别处于安全级别相同但网络结构不同的网络中,例如,一个数据平台处于其中一个高安全性局域网中,而另一个数据平台处于另一个同为高安全性但网络结构不同的局域网中。
需要说明的是,针对于不需要经由网络隔离设备进行安全验证和数据交互的情况,数据平台之间可能需要直接进行数据交互,由于异构网络中各数据平台所采用的协议不同,平台之间无法采用统一的网络协议进行数据交互,而需要对交互的数据进行网络协议的转换。根据本申请另外一个实施例,可以由数据传输装置对数据进行网络协议的转换,例如,数据发送系统A基于RPC协议发送数据,而数据接收系统D仅可以识别JMS协议的数据,因此数据传输装置103可以将RPC协议的数据转换为JMS协议的数据。
根据本申请实施例,在数据平台之间需要通过网络隔离设备才能实现数据交互的情况下,通过数据传输装置根据数据发送系统和数据接收系统确定网络隔离设备及其采用的第三网络协议,由数据传输装置相应地将初始数据转换为符合第三网络协议的中间数据,并发送至网络隔离设备进行验证,用户无须针对网络隔离设备的网络协议对数据平台进行改造,从而节省了用户工作量。
实施例二
图2示出了本申请实施例二的一种数据传输方法的步骤流程图,所述方法可以包括如下步骤:
步骤201,接收基于第一网络协议的数据发送系统的初始数据。
具体实现中,数据发送系统可以发送数据至数据传输装置,数据传输装置将接收的数据作为初始数据,以便进一步转换和发送至安全验证系统。
实际应用中,可以在数据发送系统所在的数据平台中,针对数据传输装置安装有数据传输程序,并提供一个数据传输接口。数据平台的用户可以通过该数据传输接口,将数据发送至数据传输装置。
步骤202,根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议。
需要说明的是,安全验证系统可以包括网络隔离设备。目前较常用的网络隔离设备包括有网闸。
具体实现中,初始数据可以携带有该数据发送对象的系统标识,根据该系统标识可以确定数据接收系统。其中,数据发送系统可以基于第一网络协议构建,而数据接收系统可以基于第二网络协议构建。第一网络协议和第二网络协议可以包括RPC协议、JMS协议、HTTP/HTTPS协议等。第一网络协议和第二网络协议可以相同,也可以不同。当两者不同时,在发送至第二网络协议的数据接收系统之前,则需要进行相应的网络协议的转换。
需要说明的是,RPC协议是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP(TransmissionControl Protocol传输控制协议)或UDP(User Datagram Protocol,用户数据报协议),为通信程序之间携带信息数据。在OSI(Open System Interconnection,开放式系统互联)网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。而JMS协议是一个Java平台中关于面向消息中间件(MOM)的API(接口),用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。 Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS 提供支持。
根据数据发送系统和数据接收系统,则可以确定当前需要验证数据的安全验证系统。具体实施中,可以通过在预设的验证系统对应表中查找,例如分别根据数据发送系统和数据接收系统的系统标识,查找到对应的安全验证系统。
步骤203,确定各安全验证系统所采用的第三网络协议。
具体实现中,可以根据查找到的安全验证系统,确定其所采用的第三网络协议。第三网络协议可以包括FTP协议和数据库协议。
步骤204,将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证。
具体实现中,可以将原本为符合第一网络协议的初始数据,转换为符合安全验证系统的第三网络协议的中间数据。转换的方式可以有多种,例如,数据传输装置可以针对当前的安全验证系统提前配置FTP协议,以插件的方式将初始数据转为FTP文件作为中间数据。
可以将中间数据发送至安全验证系统,以写入至安全验证系统的数据服务器中。例如将中间数据的FTP文件写入至安全验证系统的FTP服务器中。
将中间数据发送至安全验证系统,由安全验证系统针对中间数据进行安全验证,验证完毕后则将中间数据返回至数据传输装置。
实际应用中,安全验证系统可以设置有至少两个数据服务器,数据传输装置可以将中间数据发送至其中一个数据服务器中,在安全验证完成后,安全验证系统可以将中间数据交互至另外一个数据服务器中,由该数据服务器将中间数据返回至数据传输装置。
实际应用中,当存在有多个安全验证系统时,安全验证系统可以将验证后的中间数据返回至数据传输装置,由数据传输装置根据下一个进行验证的安全验证系统的第三网络协议,对中间数据再一次进行网络协议的转换和发送,直至中间数据被全部安全验证系统验证完毕。例如首先将初始数据转为 FTP文件并发送至第一个安全验证系统,安全验证系统对FTP文件进行验证后返回FTP文件至数据传输装置。数据传输装置针对第二个安全验证系统将 FTP文件转换成SQL数据文件,并发送至第二个安全验证系统。当然,本领域技术人员也可以根据实际需要设置多个数据传输装置以分别对不同的网络协议进行接收、转换和发送等处理,也可以针对不同的安全验证系统分别设置数据传输装置。
步骤205,将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
具体实现中,当经过一个或多个的安全验证系统对中间数据完成验证后,数据传输装置可以将中间数据按照第二网络协议,转换为目标数据并发送至数据接收系统。例如将FTP文件转换为JMS消息。
根据本申请实施例,在数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过根据数据发送系统和数据接收系统确定安全验证系统及其采用的第三网络协议,并相应地将初始数据转换为符合第三网络协议的中间数据,用户无须针对安全验证系统的网络协议对数据平台进行改造,从而节省了用户工作量。
而且,如果数据交互过程中存在多个安全验证系统时,若某一个或多个安全验证系统发生如IP地址变更等的更新,用户需要针对性地对数据平台进行更新,增加了用户工作量。根据本申请实施例,根据数据发送系统和初始数据指向的数据接收系统,即可确定当前需要验证数据的若干个安全验证系统,无须用户手动更新,进一步节省了用户的工作量。
实施例三
图3示出了本申请实施例三的一种数据传输方法的步骤流程图,所述方法可以包括如下步骤:
步骤301,接收基于第一网络协议的数据发送系统的初始数据。
步骤302,根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议。
可选地,所述步骤302可以包括以下子步骤:
子步骤S11,在预设的验证系统对应表中查找数据发送系统和数据接收系统分别对应的至少一个安全验证系统。
具体实现中,可以根据数据发送系统和数据接收系统所在的网络所设置的安全验证系统,建立验证系统对应表。在该验证系统对应表中,数据发送系统和数据接收系统分别对应有安全验证系统。在确定数据发送系统和数据接收系统后,可以在该验证系统对应表中,分别查找对应的安全验证系统。
步骤303,确定各安全验证系统所采用的第三网络协议。
步骤304,将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证。
可选地,所述安全验证系统包括多个,所述步骤304可以包括以下子步骤:
子步骤S21,针对各安全验证系统,依次将所述初始数据转换为符合所述安全验证系统对应的第三网络协议的中间数据,并发送至所述安全验证系统;其中,当接收到上一个安全验证系统的反馈结果时,针对下一个安全验证系统对应的第三网络协议对中间数据进行转换并发送至下一个安全验证系统。
当存在有多个安全验证系统时,可以针对各个安全验证系统的网络协议依次进行转换。具体地,数据传输装置可以针对第一个安全验证系统的网络协议,将初始数据转换为中间数据并发送。第一安全验证系统在验证中间数据后,可以将该中间数据作为反馈结果返回至数据传输装置。数据传输装置可以根据下一个进行验证的安全验证系统的网络协议,对中间数据再一次进行网络协议的转换和发送,直至中间数据被全部安全验证系统验证完毕。
实际应用中,也可以在收到上一个安全验证系统的反馈结果后,将初始数据按照下一个安全验证系统的网络协议,转换成另外一个中间数据,并发送至下一个安全验证系统。
可选地,所述将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据的步骤可以包括以下子步骤:
子步骤S31,将所述初始数据转换成预设格式数据,封装所述预设格式数据。
子步骤S32,将封装的预设格式数据按照第三网络协议进行转换,得到安全验证系统可识别数据格式的中间数据。
具体实现中,可以首先将初始数据转换为数据传输装置内部的预设格式数据,并进行封装处理。将封装后的预设格式数据按照第三网络协议进行转换,从而得到当前的安全验证系统可识别数据格式的中间数据。
实际应用中,按照第三网络协议进行转换的方式可以有多种。例如,可以针对预设格式数据,提取其应用层的数据内容,根据应用层的数据内容和预先配置的转换信息,以第三网络协议的数据格式对预设格式数据进行封装,得到中间数据。
实际应用中,可以在转换成中间数据的同时,对中间数据进行压缩和加密算法的处理,并添加一个数据标识进行命名。通过压缩处理,可以缩小所传输的数据的数据量,提升传输速度。通过加密处理,可以实现对数据的保密。
可选地,所述发送至所述至少一个安全验证系统进行安全验证之前,所述方法可以还包括:
在本地存储接收的初始数据。
监听是否在预设时间范围内接收到所述数据接收系统返回的数据接收确认消息。
若是,则在本地删除对应的初始数据。
若否,则重新将初始数据转换为中间数据并发送至安全验证系统。
数据传输装置可以设置有数据存储层,对初始数据进行持久化的存储。因为安全验证系统进行数据交互有一定的周期,受限于安全验证系统对数据的单点处理方式,如果安全验证系统在接收数据后发生故障,则会发生数据丢失的情况。具体地,安全验证系统针对接收的数据进行验证和转发需要耗费一段时间,即针对每个数据完成上述处理需要一个处理的周期。在每个处理周期内,安全验证系统仅仅能针对单一个或单一份数据进行处理,若当前的数据未处理完毕则不会继续处理下一个或下一份数据。如果在一个周期内有多个发送系统向安全验证系统发送了数据,而该周期内的某个时间点安全验证系统发生故障,则多个发送系统所发送的数据均无法顺利被转发至接收系统,造成数据丢失。此外,安装在数据平台中的用于向数据传输装置发送初始数据的数据传输接口,也可能会因为重启等问题而导致数据丢失。因此,可以将初始数据存储在数据传输装置中,即使数据传输接口重启或安全验证系统发生故障,仍然可以保证初始数据不会丢失,并采用存储的初始数据重新进行转换和发送。
具体实现中,可以在数据传输装置本地的数据存储层,存储接收到的初始数据。数据传输装置可以监听在预设时间范围内是否接收到数据接收系统返回的数据接收确认消息。若确认接收则删除本地存储的初始数据,若确认数据接收系统接收数据失败,则从数据存储层提取相应的初始数据,重新转换为中间数据并发送至安全验证系统。
实际应用中,也可采用其他的判断依据进行删除或重新转换的处理。例如,监听安全验证系统是否已经完成对数据的验证。此外,在确定因网络问题或安全验证系统故障而导致无法成功发送数据后,数据传输装置可以通过重试轮询机制,保障数据能够正常发送至安全验证系统或数据接收系统。
根据本申请实施例,数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过在数据传输装置对数据的持久化存储,降低了数据交互过程中数据丢失的风险,提升了数据交互的稳定性。
步骤305,将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
实际应用中,可以在数据接收系统所在是数据平台中,针对数据传输装置安装有数据传输程序,并提供一个数据传输接口。数据传输装置可以通过该数据传输接口,将目标数据推送给数据平台中的数据接收系统。
步骤306,当查找不到安全验证系统,将所述初始数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。
在实际的数据交互场景中,可能不存在安全验证系统,或者当前进行数据交互不需要经过安全验证系统的验证。因此,当根据数据发送系统和数据接收系统查找不到安全验证系统时,可以直接将初始数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。
可选地,当所述数据接收系统与所述数据发送系统同属第一网络协议,所述发送至所述至少一个安全验证系统进行安全验证之后,所述方法可以还包括:
将验证后的中间数据还原成初始数据,并发送至数据接收系统。
在实际的数据交互场景中,可能数据接收系统和数据发送系统所在的数据平台采用的网络协议相同。因此,安全验证系统完成对数据的验证后,可以将中间数据还原成初始数据,并发送至数据接收系统。
实际应用中,可以根据将初始数据转换成中间数据的方式,确定还原的方式。例如,在将JMS消息转换成FTP文件时,还进行了压缩和加密算法的处理,在还原时可以先进行解压和解密,然后还原成JMS消息,并发送至数据接收系统。
可选地,所述方法可以还包括:
在所述安全验证系统设置针对数据的接收和发送的记录日志。
定期接收所述安全验证系统返回的记录日志,以采用接收的记录日志监控安全验证系统的运行状态。
在基于安全验证系统的数据交互场景中,由于安全验证系统由第三方独立部署,外部系统难以对其实现有效的实时监控。因此,可以由数据传输装置在安全验证系统设置记录日志,由安全验证系统针对接收、验证和发送的数据进行记录,并定期接收安全验证系统返回的记录日志,从而,数据传输装置可以根据记录日志监控安全验证系统的运行状态,保障安全验证系统的正常运行。例如,数据传输装置可以针对网闸的FTP服务器进行定制,通过记录日志等方式增加定制化的监控和报警等功能。
根据本申请实施例,通过在安全验证系统设置记录日志,并定期接收记录日志以对安全验证系统监控,从而实现了对安全验证系统的实时监控。
根据本申请实施例,针对任意两个或多个不同安全等级的网络环境,在数据平台之间存在物理网络隔离、必须与安全验证系统进行数据交互的情况下,以较低的开发成本和接入成本实现稳定和有效的数据交互。
实施例四
图4示出了本申请实施例四的一种交易数据存储方法的步骤流程图,所述方法可以包括如下步骤:
步骤401,接收基于第一网络协议的交易系统的交易数据。
需要说明的是,交易系统可以包括电子交易平台中某个负责处理关于电子交易业务的系统。交易数据可以包括买家、卖家等用户在进行电子交易时产生的数据和用户个人数据,例如商品信息、商品交易进度、用户发货和收货地址、买家购买记录、卖家销售记录等等。其中,交易系统所处的电子交易平台处于第一网络协议的网络中,交易系统发送的交易数据也为基于第一网络协议的数据。
具体实现中,交易系统可以发送交易数据至数据传输装置,数据传输装置将接收交易数据,以便进一步转换和发送至安全验证系统。
步骤402,根据交易系统和所述交易数据指向的交易数据存储系统,确定针对交易数据的至少一个安全隔离网闸,所述交易数据存储系统基于第二网络协议。
具体实现中,交易数据可以携带有交易数据存储系统的系统标识,根据该系统标识可以确定交易数据存储系统。其中,交易数据存储系统所处的交易数据存储平台处于第二网络协议的网络中,交易数据存储系统所能识别数据格式的交易数据也为基于第二网络协议的数据。
根据交易系统和交易数据存储系统,则可以确定当前需要验证交易数据的安全隔离网闸。
步骤403,确定各安全隔离网闸所采用的第三网络协议。
步骤404,将符合第一网络协议的交易数据转换为符合第三网络协议的中间交易数据,并发送至所述至少一个安全隔离网闸进行安全验证。
具体实现中,可以针对安全隔离网闸确定其所采用的第三网络协议,然后将原本为符合第一网络协议的交易数据,转换为符合安全隔离网闸的第三网络协议的中间交易数据,并发送至安全隔离网闸。
当存在有多个安全隔离网闸时,安全隔离网闸可以将验证后的中间交易数据返回至数据传输装置,由数据传输装置根据下一个进行验证的安全隔离网闸的第三网络协议,对中间交易数据再一次进行网络协议的转换和发送,直至中间交易数据被全部安全隔离网闸验证完毕。
步骤405,将验证后的中间交易数据转换为符合第二网络协议的目标交易数据,并发送至所述交易数据存储系统。
具体实现中,当经过一个或多个的安全隔离网闸对中间交易数据完成验证后,数据传输装置可以将中间交易数据按照第二网络协议,转换为目标交易数据并发送至交易数据存储系统,由交易数据存储系统将其存储在本地。实际应用中,交易数据存储系统可以针对其存储的大量交易数据进行大数据融合和分析。
根据本申请实施例,在数据平台之间需要通过安全隔离网闸才能实现数据交互的情况下,通过根据交易系统和交易数据存储系统确定安全隔离网闸及其采用的第三网络协议,并相应地将交易数据转换为符合第三网络协议的中间交易数据,用户无须针对安全隔离网闸的网络协议对数据平台进行改造,从而节省了用户工作量。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
实施例五
图5示出了本申请实施例五的一种数据传输装置的结构框图,所述装置具体可以包括如下模块:
初始数据接收模块501,用于接收基于第一网络协议的数据发送系统的初始数据。
安全验证系统确定模块502,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议。
第三网络协议确定模块503,用于确定各安全验证系统所采用的第三网络协议。
中间数据转换模块504,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证。
目标数据发送模块505,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
根据本申请实施例,在数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过根据数据发送系统和数据接收系统确定安全验证系统及其采用的第三网络协议,并相应地将初始数据转换为符合第三网络协议的中间数据,用户无须针对安全验证系统的网络协议对数据平台进行改造,从而节省了用户工作量。
而且,如果数据交互过程中存在多个安全验证系统时,若某一个或多个安全验证系统发生如IP地址变更等的更新,用户需要针对性地对数据平台进行更新,增加了用户工作量。根据本申请实施例,根据数据发送系统和初始数据指向的数据接收系统,即可确定当前需要验证数据的若干个安全验证系统,无须用户手动更新,进一步节省了用户的工作量。
实施例六
图6示出了本申请实施例六的一种数据传输装置的结构框图,具体可以包括如下模块:
初始数据接收模块601,用于接收基于第一网络协议的数据发送系统的初始数据。
安全验证系统确定模块602,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议。
第三网络协议确定模块603,用于确定各安全验证系统所采用的第三网络协议。
中间数据转换模块604,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证。
目标数据发送模块605,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
目标数据转换模块606,用于当查找不到安全验证系统,将所述初始数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。
可选地,所述安全验证系统确定模块602可以包括:
查找验证系统对应表子模块,用于在预设的验证系统对应表中查找数据发送系统和数据接收系统分别对应的至少一个安全验证系统。
可选地,所述安全验证系统包括多个,所述中间数据转换模块604可以包括:
依次转换子模块,用于针对各安全验证系统,依次将所述初始数据转换为符合所述安全验证系统对应的第三网络协议的中间数据,并发送至所述安全验证系统;其中,当接收到上一个安全验证系统的反馈结果时,针对下一个安全验证系统对应的第三网络协议对中间数据进行转换并发送至下一个安全验证系统。
可选地,所述中间数据转换模块604可以包括:
封装子模块,用于将所述初始数据转换成预设格式数据,封装所述预设格式数据;
协议转换子模块,用于将封装的预设格式数据按照第三网络协议进行转换,得到安全验证系统可识别数据格式的中间数据。
可选地,所述装置可以还包括:
初始数据存储模块,用于在本地存储接收的初始数据。
监听模块,用于监听是否在预设时间范围内接收到所述数据接收系统返回的数据接收确认消息;若是,则调用初始数据删除模块;若否,则调用重新发送模块。
初始数据删除模块,用于在本地删除对应的初始数据。
重新发送模块,用于重新将初始数据转换为中间数据并发送至安全验证系统。
可选地,所述装置可以还包括:
记录日志设置模块,用于在所述安全验证系统设置针对数据的接收和发送的记录日志。
记录日志接收模块,用于定期接收所述安全验证系统返回的记录日志,以采用接收的记录日志监控安全验证系统的运行状态。
可选地,当所述数据接收系统与所述数据发送系统同属第一网络协议,所述发送至所述至少一个安全验证系统进行安全验证之后,所述装置可以还包括:
中间数据还原模块,用于将验证后的中间数据还原成初始数据,并发送至数据接收系统。
根据本申请实施例,数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过在数据传输装置对数据的持久化存储,降低了数据交互过程中数据丢失的风险,提升了数据交互的稳定性。
根据本申请实施例,通过在安全验证系统设置记录日志,并定期接收记录日志以对安全验证系统监控,从而实现了对安全验证系统的实时监控。
根据本申请实施例,针对任意两个或多个不同安全等级的网络环境,在数据平台之间存在物理网络隔离、必须与安全验证系统进行数据交互的情况下,以较低的开发成本和接入成本实现稳定和有效的数据交互。
实施例七
图7示出了本申请实施例七的一种交易数据存储装置的结构框图,所述装置具体可以包括如下模块:
交易数据接收模块701,用于接收基于第一网络协议的交易系统的交易数据。
安全隔离网闸确定模块702,用于根据交易系统和所述交易数据指向的交易数据存储系统,确定针对交易数据的至少一个安全隔离网闸,所述交易数据存储系统基于第二网络协议。
第三网络协议确定模块703,确定各安全隔离网闸所采用的第三网络协议。
中间交易数据转换模块704,用于将符合第一网络协议的交易数据转换为符合第三网络协议的中间交易数据,并发送至所述至少一个安全隔离网闸进行安全验证。
目标交易数据发送模块705,将验证后的中间交易数据转换为符合第二网络协议的目标交易数据,并发送至所述交易数据存储系统。
根据本申请实施例,在数据平台之间需要通过安全隔离网闸才能实现数据交互的情况下,通过根据交易系统和交易数据存储系统确定安全隔离网闸及其采用的第三网络协议,并相应地将交易数据转换为符合第三网络协议的中间交易数据,用户无须针对安全隔离网闸的网络协议对数据平台进行改造,从而节省了用户工作量。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
实施例八
图8示出了本申请实施例八的一种数据传输系统的结构框图,所述系统具体可以包括:
数据传输装置801、数据发送系统802、数据接收系统803和至少一个安全验证系统804;所述安全验证系统804,用于验证所述数据发送系统802 发送至所述数据接收系统803的数据的安全性;
所述数据传输装置801可以包括:
初始数据接收模块,用于接收基于第一网络协议的数据发送系统的初始数据。
安全验证系统确定模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议。
第三网络协议确定模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
可选地,所述数据传输装置801可以包括:
初始数据存储模块,用于在本地存储接收的初始数据。
监听模块,用于监听是否在预设时间范围内接收到所述数据接收系统返回的数据接收确认消息;若是,则调用初始数据删除模块;若否,则调用重新发送模块。
初始数据删除模块,用于在本地删除对应的初始数据。
重新发送模块,用于重新将初始数据转换为中间数据并发送至安全验证系统。
可选地,所述数据传输装置801可以包括:
记录日志设置模块,用于在所述安全验证系统设置针对数据的接收和发送的记录日志。
记录日志接收模块,用于定期接收所述安全验证系统返回的记录日志,以采用接收的记录日志监控安全验证系统的运行状态。
根据本申请实施例,在数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过根据数据发送系统和数据接收系统确定安全验证系统及其采用的第三网络协议,并相应地将初始数据转换为符合第三网络协议的中间数据,用户无须针对安全验证系统的网络协议对数据平台进行改造,从而节省了用户工作量。
而且,如果数据交互过程中存在多个安全验证系统时,若某一个或多个安全验证系统发生如IP地址变更等的更新,用户需要针对性地对数据平台进行更新,增加了用户工作量。根据本申请实施例,根据数据发送系统和初始数据指向的数据接收系统,即可确定当前需要验证数据的若干个安全验证系统,无须用户手动更新,进一步节省了用户的工作量。
实施例九
图9示出了本申请实施例九的一种网闸的结构框图,所述网闸900具体可以包括:
数据传输模块901和数据验证模块902;
所述数据传输模块901包括:
初始数据接收子模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定子模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定子模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换子模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送子模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统;
所述数据验证模块902,用于验证所述中间数据的安全性。
根据本申请实施例,在数据平台之间需要通过安全验证系统才能实现数据交互的情况下,通过根据数据发送系统和数据接收系统确定安全验证系统及其采用的第三网络协议,并相应地将初始数据转换为符合第三网络协议的中间数据,用户无须针对安全验证系统的网络协议对数据平台进行改造,从而节省了用户工作量。
为了便于本领域技术人员理解本申请实施例,以下将结合图10和图11 的具体示例予以说明。
图10示出了本申请实施例的一种数据传输系统示例的结构框图。从图中可见,本申请实施例的数据传输系统示例包括有处于互联网的大数据平台和处于高安全性局域网的大数据平台,大数据平台由多个业务系统组成。异构网络中的大数据平台之间通过网闸和数据传输装置进行数据交互。其中,数据传输装置包括有接入层、数据传输层、存储层和监控模块。网闸可以包括多台FTP服务器或数据库服务器。
数据传输装置采用RPC、METAQ(分布式消息中间件)、HTTP等分布式的网络协议,通过接入层提供给大数据平台中各个业务系统使用。可以在大数据平台上安装数据传输应用程序,由该应用程序向大数据平台中的各个业务系统提供数据传输接口。由此,大数据平台通过接入层将业务系统接入到数据传输装置中。
数据传输层负责处理从大数据平台中某个业务系统传输的业务数据。主要是由统一的协议转换接口将业务数据转换为网闸可以支持的网络协议,同时也可以统一对业务数据进行压缩和加密处理。
在数据传输装置接收到调用后,可以将业务数据在存储层进行持久化的存储。网闸的数据交互具有一定周期,受限于网闸的单点处理模式,在一个交互周期内网闸可能会出现故障或接入层重启而导致数据丢失、数据交互失败等问题。因此通过对数据进行持久化存储,即使接入层重启或网闸故障,仍然可以保证数据不会丢失。
由于网闸通常是独立于各个大数据平台的第三方软硬件设备,其部署的数据服务器也是相对独立的,对网闸及其数据服务器进行监控存在困难。通过由数据传输装置对数据服务器进行定制,例如通过在网闸及其数据服务器上设置记录日志等方式,增加了对整个数据交互过程的可控性。
图11示出了本申请实施例的一种数据流程图。从图中可见,其中一个大数据平台的业务系统需要发送4kb的JAVA消息的初始数据到其他大数据平台中进行存储。经过数据传输装置的统一接入层,将JAVA消息转换为RPC 数据。
当大数据平台的某个业务系统接入后,所上传的数据会统一进入到消息队列中,通过数据传输装置的消息处理层对消息队列中的数据进行管理。其中,消息处理层可以对接收的数据进行持久化的数据存储,当网络不稳定或网闸的数据服务器故障,可以采用重试轮询机制,保障数据能够正常传输到网闸。
数据传输装置可以通过协议转换层将传入的RPC数据转换为用于装置内部传输的统一格式数据,该统一格式数据,经过了数据传输装置的封装处理,可以通过装置内部ID对统一格式数据添加唯一标识。数据传输装置可以提前配置符合于网闸的数据服务器的网络协议,比如:针对网闸的FTP 服务器,可以通过协议转换层的协议转换接口,以插件式的方式,采用FTP 的数据传输方式,将装置内部的统一格式数据转换为FTP文件,同时进行压缩、加密算法进行处理。4kb的数据通过压缩和加密,只有1kb的内容写入到FTP文件中。其中,FTP文件名可以以之前的唯一标识进行命名。
数据传输装置可以通过协议层与网闸进行数据传输,网闸则通过数据服务器将数据交互至部署在另外一端网络的数据传输装置,或传输至当前的数据传输装置。另外一端的数据传输装置或当前的数据传输装置在接收到网闸经验证的数据后,可以通过解压、解密等操作,将其转换为另外一端大数据平台可以识别的数据,并通过接入层将数据推送给另外一端的大数据平台的某个系统中进行存储。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中,所述计算机系统包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储系统或任何其他非传输介质,可用于存储可以被计算系统访问的信息。按照本文中的界定,计算机可读介质不包括非持续性的电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端系统(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端系统的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端系统的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端系统以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端系统上,使得在计算机或其他可编程终端系统上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端系统上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端系统中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种数据传输系统,其特征在于,所述系统包括:
数据传输装置、数据发送系统、数据接收系统和至少一个安全验证系统;所述安全验证系统,用于验证所述数据发送系统发送至所述数据接收系统的数据的安全性;所述数据传输装置为独立于所述数据发送系统、所述数据接收系统和所述安全验证系统的数据传输服务器;所述数据传输装置包括:
初始数据接收模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
2.一种数据传输方法,其特征在于,应用于数据传输装置,所述数据传输装置为独立于数据发送系统、数据接收系统和安全验证系统的数据传输服务器;所述方法包括:
接收基于第一网络协议的数据发送系统的初始数据;
根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
确定各安全验证系统所采用的第三网络协议;
将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
3.根据权利要求2所述的方法,其特征在于,所述根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统的步骤包括:
在预设的验证系统对应表中查找数据发送系统和数据接收系统分别对应的至少一个安全验证系统。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当查找不到安全验证系统,将所述初始数据转换为符合第二网络协议的目标数据,并发送至数据接收系统。
5.根据权利要求2所述的方法,其特征在于,所述安全验证系统包括多个,所述将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证的步骤包括:
针对各安全验证系统,依次将所述初始数据转换为符合所述安全验证系统对应的第三网络协议的中间数据,并发送至所述安全验证系统;其中,当接收到上一个安全验证系统的反馈结果时,针对下一个安全验证系统对应的第三网络协议对中间数据进行转换并发送至下一个安全验证系统。
6.根据权利要求2所述的方法,其特征在于,所述将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据的步骤包括:
将所述初始数据转换成预设格式数据,封装所述预设格式数据;
将封装的预设格式数据按照第三网络协议进行转换,得到安全验证系统可识别数据格式的中间数据。
7.根据权利要求2所述的方法,其特征在于,所述发送至所述至少一个安全验证系统进行安全验证之前,所述方法还包括:
在本地存储接收的初始数据;
监听是否在预设时间范围内接收到所述数据接收系统返回的数据接收确认消息;
若是,则在本地删除对应的初始数据;
若否,则重新将初始数据转换为中间数据并发送至安全验证系统。
8.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述安全验证系统设置针对数据的接收和发送的记录日志;
定期接收所述安全验证系统返回的记录日志,以采用接收的记录日志监控安全验证系统的运行状态。
9.根据权利要求2所述的方法,其特征在于,当所述数据接收系统与所述数据发送系统同属第一网络协议,所述发送至所述至少一个安全验证系统进行安全验证之后,所述方法还包括:
将验证后的中间数据还原成初始数据,并发送至数据接收系统。
10.一种数据传输装置,其特征在于,应用于数据传输装置,所述数据传输装置为独立于数据发送系统、数据接收系统和安全验证系统的数据传输服务器;所述装置包括:
初始数据接收模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统。
11.一种交易数据存储方法,其特征在于,应用于数据传输装置,所述数据传输装置为独立于交易系统、交易数据存储系统和安全隔离网闸的数据传输服务器;所述方法包括:
接收基于第一网络协议的交易系统的交易数据;
根据交易系统和所述交易数据指向的交易数据存储系统,确定针对交易数据的至少一个安全隔离网闸,所述交易数据存储系统基于第二网络协议;
确定各安全隔离网闸所采用的第三网络协议;
将符合第一网络协议的交易数据转换为符合第三网络协议的中间交易数据,并发送至所述至少一个安全隔离网闸进行安全验证;
将验证后的中间交易数据转换为符合第二网络协议的目标交易数据,并发送至所述交易数据存储系统。
12.一种网闸,其特征在于,所述网闸包括:
数据传输模块和数据验证模块;所述数据传输模块为独立于数据发送系统、数据接收系统和安全验证系统的数据传输服务器;
所述数据传输模块包括:
初始数据接收子模块,用于接收基于第一网络协议的数据发送系统的初始数据;
安全验证系统确定子模块,用于根据数据发送系统和所述初始数据所指向的数据接收系统,确定针对初始数据的至少一个安全验证系统,所述数据接收系统基于第二网络协议;
第三网络协议确定子模块,用于确定各安全验证系统所采用的第三网络协议;
中间数据转换子模块,用于将符合第一网络协议的初始数据转换为符合第三网络协议的中间数据,并发送至所述至少一个安全验证系统进行安全验证;
目标数据发送子模块,用于将验证后的中间数据转换为符合第二网络协议的目标数据,并发送至所述数据接收系统;
所述数据验证模块,用于验证所述中间数据的安全性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710114957.2A CN108512821B (zh) | 2017-02-28 | 2017-02-28 | 数据传输方法、装置和系统,网闸,交易数据存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710114957.2A CN108512821B (zh) | 2017-02-28 | 2017-02-28 | 数据传输方法、装置和系统,网闸,交易数据存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108512821A CN108512821A (zh) | 2018-09-07 |
CN108512821B true CN108512821B (zh) | 2021-05-28 |
Family
ID=63373750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710114957.2A Active CN108512821B (zh) | 2017-02-28 | 2017-02-28 | 数据传输方法、装置和系统,网闸,交易数据存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108512821B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109302432B (zh) * | 2018-12-17 | 2021-09-07 | 何书霞 | 基于网络安全隔离技术的网络通信数据组合加密传输方法 |
CN110417756B (zh) * | 2019-07-11 | 2022-09-27 | 北京百度网讯科技有限公司 | 跨网络数据传输方法及装置 |
CN110958218B (zh) * | 2019-10-16 | 2022-01-28 | 平安国际智慧城市科技股份有限公司 | 基于多网通信的数据传输方法及相关设备 |
CN111586041A (zh) * | 2020-05-07 | 2020-08-25 | 英赛克科技(北京)有限公司 | 工业单向隔离网闸系统和数据传输方法 |
CN111917737B (zh) * | 2020-07-14 | 2023-01-31 | 北京明略软件系统有限公司 | 一种跨网rpc调用系统及方法 |
CN112165465B (zh) * | 2020-09-16 | 2023-04-07 | 杭州安恒信息技术股份有限公司 | 外发第三方平台的数据处理方法、装置和电子装置 |
CN113595991A (zh) * | 2021-07-07 | 2021-11-02 | 河北远东通信系统工程有限公司 | 一种http接口网关、通信系统及通信方法 |
CN113515482A (zh) * | 2021-09-14 | 2021-10-19 | 北京国科天迅科技有限公司 | 数据传输系统、方法、计算机设备和存储介质 |
CN114172877B (zh) * | 2021-11-11 | 2024-01-26 | 欧冶云商股份有限公司 | 一种基于http协议的中间件数据传输方法、装置、设备及存储介质 |
CN114995813B (zh) * | 2022-06-28 | 2023-12-19 | 上海中汇亿达金融信息技术有限公司 | 交易所api模块及相关的交易所应用平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003103228A1 (fr) * | 2002-06-03 | 2003-12-11 | Huawei Technologies Co., Ltd. | Mandataire d'interconnexion, et systeme et procede d'interconnection de reseaux utilisant des protocoles different |
CN103036903A (zh) * | 2012-12-26 | 2013-04-10 | 北京中电普华信息技术有限公司 | 数据处理方法及Web Service组件 |
CN104767752A (zh) * | 2015-04-07 | 2015-07-08 | 西安汇景倬元信息技术有限公司 | 一种分布式网络隔离系统及方法 |
CN106230806A (zh) * | 2016-07-26 | 2016-12-14 | 中国南方电网有限责任公司信息中心 | 混合数据在内外网隔离环境下的定制协议通讯系统和方法 |
-
2017
- 2017-02-28 CN CN201710114957.2A patent/CN108512821B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003103228A1 (fr) * | 2002-06-03 | 2003-12-11 | Huawei Technologies Co., Ltd. | Mandataire d'interconnexion, et systeme et procede d'interconnection de reseaux utilisant des protocoles different |
CN103036903A (zh) * | 2012-12-26 | 2013-04-10 | 北京中电普华信息技术有限公司 | 数据处理方法及Web Service组件 |
CN104767752A (zh) * | 2015-04-07 | 2015-07-08 | 西安汇景倬元信息技术有限公司 | 一种分布式网络隔离系统及方法 |
CN106230806A (zh) * | 2016-07-26 | 2016-12-14 | 中国南方电网有限责任公司信息中心 | 混合数据在内外网隔离环境下的定制协议通讯系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108512821A (zh) | 2018-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108512821B (zh) | 数据传输方法、装置和系统,网闸,交易数据存储方法 | |
WO2018219178A1 (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN111552676A (zh) | 基于区块链的存证方法、装置、设备及介质 | |
CN106453474B (zh) | 在不稳定网络环境中的大文件的网络传输 | |
CN111970315A (zh) | 推送消息的方法、装置及系统 | |
CN109521956B (zh) | 一种基于区块链的云存储方法、装置、设备及存储介质 | |
CN109639819B (zh) | 文件传输方法、客户端、服务器及系统 | |
CN110019104B (zh) | 文件资源交换方法、文件资源服务器及文件交换系统 | |
CN111901230B (zh) | 一种支持设备接入验证的物联网网关、系统和设备接入验证的方法 | |
TWI716822B (zh) | 事務因果序的校正方法及裝置、電子設備 | |
CN115277727B (zh) | 一种数据灾备方法、系统、装置及存储介质 | |
CN114465867B (zh) | 服务器的维护方法、装置、存储介质及处理器 | |
CN105591959A (zh) | 一种利用ssl会话重用进行负载均衡的系统及方法 | |
WO2019100364A1 (zh) | 一种云视频平台中的动态资源调配方法 | |
CN113254227B (zh) | 跨数据中心的远程方法调用的方法、系统 | |
CN111327680B (zh) | 认证数据同步方法、装置、系统、计算机设备和存储介质 | |
CN113612811B (zh) | 一种在多通道中客户端挂载的方法、系统、设备及介质 | |
CN115632815A (zh) | 一种数据的更新方法、装置、电子设备及存储介质 | |
CN111669364B (zh) | 一种数据传输的方法、装置、电子设备及介质 | |
CN116781764A (zh) | 长连接的任务执行方法、装置及相关设备 | |
CN110187911B (zh) | 客户端软件生成方法、装置、电子设备 | |
CN108848156B (zh) | 接入网关处理方法、装置及存储介质 | |
CN107528797B (zh) | 数据处理方法、装置及系统 | |
CN105516297A (zh) | 一种信息上报的方法及装置 | |
CN111131427B (zh) | 一种基于中心域的跨域协同系统及实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |